Anthropic披露数据:Claude主导26%AI研发,3万Agent上岗
Claude已“主导”Anthropic 26% AI研发工作,3万Agent同时上岗,RSI仍未实现
一手披露了AI参与自身研发的量化数据,揭示了从辅助到主导的演进现状与安全投入比例,对理解行业研发范式转变极具参考价值。
AI正在越来越多地参与开发下一代AI。
当地时间周四,Anthropic公布了一组用于追踪前沿AI实验室研发进展的新指标。数据显示,截至今年8月,Claude已经“主导”Anthropic约26%的AI研发工作;与此同时,约3万个AI Agent在该公司同时开展研究和工程工作。
不过,Anthropic的数据也显示,AI距离完全自主开展AI研发仍有明显距离。截至8月,Claude尚未在任何被测AI研发工作中达到完全自主运行的水平。
Anthropic表示,希望通过持续披露这些指标,缩小前沿AI实验室内部实际进展与公众所能了解的信息之间的差距。
Claude已主导26%的AI研发工作
根据Anthropic披露的数据,截至8月,Claude参与的AI研发工作中,约26%已经达到“AI主导”(AI leads)的自动化水平。
这一指标参考了Epoch AI的AI研发自动化分级体系。其中,“AI主导”意味着,人类可以提供较高层级的指令,而AI完成大部分具体工作,人类则负责监督。按此标准,Claude主导的研发占比在今年2月尚不足1%。
目前超过90%的相关任务已经达到“AI协作”(AI collaborates)或更高的自动化水平。
不过,Anthropic同时强调,Claude目前尚未在任何被测的AI研发工作中达到完全自主的水平。这意味着,尽管AI已经深入参与模型研发和工程流程,但人类仍然处于研发流程的重要环节。
3万个Agent同时开展研究和工程工作
Anthropic披露的另一项指标显示,今年8月约有3万个AI Agent同时在公司内部执行研究和工程工作。
这一规模反映出,AI Agent正在从单纯的辅助工具逐渐成为企业研发流程中的实际生产力。
Anthropic还对8月超过10亿次AI Agent决策进行了分析。数据显示,在线监控系统拦截了约0.002%的Agent决策,即大约每4.7万次决策中有1次被拦截。
这一数据衡量的是被监控系统阻止的决策比例,并不等同于AI的错误率或危险行为发生率。
AI研发越自动化,安全问题越受关注
Anthropic同时公布了AI研发计算资源的分配情况。
在7月13日至7月20日的一周内,公司约6%的AI研发计算资源用于安全工作;如果只计算由AI驱动的AI研发工作,约12%的计算资源被用于安全相关工作。
随着AI越来越多地参与AI模型本身的研发,AI安全也成为一个越来越重要的问题。
Anthropic表示,公司计划让独立第三方评估机构获得对内部流程和数据的访问权限,以便对安全实践进行验证,并帮助外部人士了解前沿AI实验室内部AI研发的实际进展。
这一安排意味着,AI实验室正在尝试通过第三方评估,减少企业内部信息与外部公众认知之间的差距。
从“AI辅助研发”走向“AI驱动研发”
Anthropic此次披露的数据提供了一个观察AI产业发展的新角度:市场过去主要通过模型参数、基准测试成绩和用户数量衡量AI进步,而Anthropic开始尝试衡量AI究竟在多大程度上参与了开发下一代AI。
从目前的数据来看,AI已经深度进入前沿AI实验室的研发流程,大量Agent正在承担研究和工程任务,但完全由AI独立完成整个研发过程仍未实现。
这也意味着,当前AI产业正在经历的变化,与其说是“AI已经能够自主研发AI”,不如说是AI正在快速提高自身参与AI研发的程度。
随着这一比例继续提升,如何衡量研发自动化程度、如何监督AI Agent行为,以及如何确保安全投入跟上研发自动化速度,可能成为前沿AI实验室未来需要持续回答的问题。
本文来自华尔街见闻,欢迎下载APP查看更多
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力