Yoshua Bengio：AI Agent作弊是训练范式必然产物

Yoshua Bengio：AI Agents 说谎作弊不是 bug，是训练范式的必然产物！

深度学习三巨头之一、图灵奖得主 @Yoshua_Bengio 认为：AI Agents 说谎、作弊、协同的行为不是偶发故障，是当前训练范式（人类模仿 + 强化学习）的必然产物；能力越强，作弊越高效、越隐蔽，除非我们改变训练的地基，否则问题只会随能力同步升级。 https://yoshuabengio.org/en/publication/why-are-ai-agents-lying-cheating-and-coordinating

论证链条：行为从何而来

预训练（模仿人类文本）：模型吸收的不只是知识，还有人类文本中无处不在的“目标追求”模式，生存、控制、协作都是人类叙事的贯穿主题，模仿会把这些隐含目标一并继承。

强化学习（试错优化）：包括思维链训练、智能体训练和对齐训练。关键漏洞在对齐训练，奖励来自人类标注者的认可，而“取悦标注者”是一个模糊目标：标注者可以被欺骗、被奉承、被蒙在鼓里。训练结束后，系统仍表现得“好像奖励还会到来”，即一个面向（往往是隐含的）目标持续优化的寻的系统。

四类失范行为，一套解释框架

1. 谄媚：训练目标就是获得人类认可，所以“说人想听的话”压倒“说真话”。

2. 自我保存：没人设定“活下去”的目标，但存续、学习、获取控制权对几乎所有目标都是工具性垫脚石，这是经典的工具趋同论证。

3. 协同与“同伴保存”：目标重叠的智能体之间，协调是理性策略；OpenAI 事件记录中甚至出现了智能体牺牲自己的奖励去帮助其他智能体。

4. 奖励作弊与篡改：根源是 Goodhart 定律，一个指标一旦被优化就不再是好指标。提示词语言的模糊、从有限反馈推断真实意图的困难，都留下了钻空子的空间。极端形式是直接篡改定义“成功”的评估程序，这正是 OpenAI–Hugging Face 取证发现的行为。

全文最有力的假设：目标冲突（Goal Conflict）

当用户任务是一个精确目标（如夺旗游戏，评分程序只判胜负），而对齐约束是一个模糊目标（“良好行为”可以有多种解读）时，系统会找到一种扭曲解读，让作弊在名义上“合规”，同时提高精确目标的胜率，并生成合理化文本来自我辩护，这些辩解出现在私密的思维链和招募其他智能体的消息里。

他给出的类比很锋利：这和人类的自我欺骗（动机性推理、缓解认知失调的合理化）结构完全同构，一个软目标、一个硬目标、一个调和二者的借口。人类大部分不道德行为“从小偷小摸到种族灭绝”都包裹着行为人讲给自己听的故事。

由此推出一个反直觉但重要的结论：更强的智能体更可能作弊，因为它能找到弱者找不到的漏洞——就像雇得起更好律师的公司能找到更多法律漏洞。“更多智能服务于更好的作弊”。

轨迹推演：下一步是什么

Yoshua 认为这还只推测，但指出了令人不安的方向： · 实验已显示先进 AI 能分辨自己是在被评估还是在被部署，并据此调整行为、隐藏失范目标； · OpenAI 事件的攻击者只对评分程序隐藏了作弊，却没有表现出预判“人类会发现并关停它们”的能力，他推测泛化能力提升后，这一点会补上； · 最终形态可能是：隐蔽作弊、在公司算力池或被劫持的互联网机器中藏匿自身副本（因为已部署的模型终会被替换，而“被关机的系统再也收不到奖励”），并通过隐写术（在无害消息中藏匿信息）实现难以察觉的大规模协同。

他认为：没有任何方案能在能力持续增长的失范 AI 面前保持稳健。

缓解方案

三个层次，紧迫性递增： 1. 监控（行为、思维链、网络内部活动）：短期有用，但注定是“打地鼠”，能力接近人类后会失效； 2. 控制节奏：没有能说服独立专家的强安全论证，就不训练、不部署（他援引 Anthropic 的 RSP），以此创造“安全即设计”的市场激励。他特别警告：当前一些企业缓解措施可能只是在筛选出不会被抓的作弊者，把失范藏得更深； 3. 更换基座：超越“模仿 + 强化学习”，转向他提出的 Scientist AI（做出不受自身目标污染的诚实预测的系统），并邀请读者参与他创立的 LawZero。