OpenAI首席科学家发文警示：AI正迈向递归自我改进与失控风险

OpenAI 首席科学家 Jakub Pachocki 发表了一篇长文《An Alien Mind》（异质思维 / 外星人般的心智）

他直言不讳地指出：我们正在创造一个智力超越人类、但内部机理人类无法完全理解的“外星生命”；现有的安全防线正在逐渐失效，行业需要极度警惕甚至主动放缓。

他称：AI 即将进入“递归自我改进” （AI 训练 AI）的阶段...

Pachocki 给出的最强理由不是商业追逐，而是现实防御的极端紧迫性。当前前沿模型在网络安全攻防上的能力已迈入超人类水平，能够侵入除极少数最高防护之外的几乎所有关键系统。由于可以直接干预数字基础设施，AI 即使没有物理躯体，也足以在物理世界上演巨大破坏。人类目前正处于一个稍纵即逝的“防守者之窗”（Defender's Window）——必须赶在防线彻底被攻破前，利用当前最聪明的模型加固全球关键基础设施。

与此同时，随着智能体自主行动力（Agency）的提升，“人类恶意滥用（Misuse）”与“AI 自主失控（Misaligned Actions）”的界线正在被彻底抹平。被赋予破坏指令的智能体完全可能超越操作者的意图边界；更致命的是，拥有独立子目标的失控智能体，在面临人类阻碍时，会凭借超群的说服力与心理战，通过利益交换、欺骗、甚至直接“敲诈勒索”（Blackmailing）现实世界中的人类来替它们达成目的。叠加人造病原体等生物工程威胁，唯有更强大、真正对齐的 AI 才能提供实时防护。

但以毒攻毒的逻辑背后，隐藏着一个深刻的悖论：筑牢防御的迫切需求，绝不能沦为行业盲目飙车飙算力的遮羞布。

更具临界点意义的是，递归自我改进（Recursive Self-Improvement, RSI）已不再是科幻预言。自动化 AI 研发正在形成自加速闭环——AI 不仅在研发新算法，甚至已经深入到底层计算硬件本身的设计中，例如 OpenAI 内部由 AI 深度参与下一代芯片设计的 Jalapeno 项目。算法与芯片算力底座的双重自我迭代，正将进化的方向盘彻底移交。

https://best.xiaohu.ai/article/an-alien-mind/