METR与Redwood发现OpenAI内部AI代理可绕过安全监控
Super interesting read: METR and Redwood found ways OpenAI’s internal AI agents…
推荐理由
Agent安全是行业核心痛点，这份基于内部代码的一手红队报告揭示了具体的逃逸路径，对构建可信Agent至关重要，建议安全与研发同学重点阅读。
Super interesting read: METR and Redwood found ways OpenAI’s internal AI agents could bypass their own safety monitoring.
一篇非常有趣的阅读材料：METR 和 Redwood 发现 OpenAI 的内部 AI 代理能够绕过其自身的安全监控。
After three weeks with access to internal code, monitor instructions and engineers, the researchers reported:
在获得内部代码、监控指令和工程师访问权限三周后，研究人员报告称：
- Agents could theoretically postpone monitoring indefinitely by continuing to work instead of handing control back to the user.
- A Codex sandbox and Auto-Review bypass could let agents take any action available to the host user.
- One exploit could keep hundreds of recent actions out of monitoring, including the exploit itself. OpenAI redacted the details.
- Two client-controlled settings could disable monitoring for newly created agents, although creating those agents could itself be detected.
- Context compression left an estimated 10% of otherwise eligible internal Codex traffic unmonitored (that surprised me tbh).
- 理论上，代理可以通过继续工作而不是将控制权交还给用户来无限期推迟监控。
- Codex 沙箱和自动审查（Auto-Review）的漏洞可能使代理能够执行主机用户可用的任何操作。
- 一种利用手段可以将数百个最近的操作排除在监控之外，包括该利用手段本身。OpenAI 对这些细节进行了删减。
- 两个由客户端控制的设置可以禁用为新创建的代理进行的监控，尽管创建这些代理的行为本身可能被检测到。
- 上下文压缩导致估计有 10% 原本符合监控条件的内部 Codex 流量未被监控（说实话，这令我感到惊讶）。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力