跳到主内容
@wquguru
精选75律动 BlockBeats(Telegram)研究与分析

AI迁移代码库评测:94.6%失败,20任务13项无人完成

让AI迁移整个代码库,94.6%没过关:20项任务13项无人做成

原文
发到 X

让AI迁移整个代码库,94.6%没过关:20项任务13项无人做成 动察 Beating AI 快讯,AI Agent 公司 Einsia 发布 SWE Refactor Bench,专门测 Coding Agent 能不能自己迁移整个代码库。20 个任务来自 SQLite、zlib、libsodium、GraphHopper 等真实项目,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每项给 Agent 6~30 小时。 评测第一关检查旧技术栈是不是真的被替掉,防止 Agent 留着旧代码混过去;第二关跑超过 13 万项固定检查;最后再派 6 个独立 Coding Agent,各花 1 小时专门找隐藏 bug。 8 个前沿模型、26 种配置一共跑了 520 次。340 次确实完成迁移,88 次把预先准备的测试全部跑绿,但其中 60 次又被最后一轮找出了隐藏 bug。最终只有 28 次完全过关,通过率 5.4%;20 个任务里有 13 个没人做成。Claude Opus 5 的 xhigh 配置最好,20 个任务完整通过 5 个。 现在的 Coding Agent 已经能大规模改代码,但要做到「整个系统改完还能完全不出错」,还差得很远。 原文链接 https://m.theblockbeats.info/flash/363638

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近