跳到主内容
@wquguru
精选88Rohan Paul论文研究

上海AI实验室论文:验证式技能训练提升Agent能力

New Shanghai AI Laboratory paper finds that training on verified runs of human-w…

原文
发到 X
推荐理由

Agent技能内化的有效路径,用验证数据替代静态Prompt,实测效果显著,值得研究Agent架构的同学关注。

New Shanghai AI Laboratory paper finds that training on verified runs of human-written agent skills makes a model a better agent, even without the skill files.

上海人工智能实验室的新论文发现,在人类编写的智能体技能验证运行数据上进行训练,能使模型成为更优秀的智能体,即使没有技能文件也是如此。

Prompt-time skills depend on retrieval and instruction following, and fine-tuning on verified skill runs reduces that dependence.

提示时技能依赖于检索和指令遵循,而在验证过的技能运行数据上进行微调可以减少这种依赖。

Turning each skill file into a sandboxed task with a pass-or-fail checker produced training data that lifted Terminal-Bench 2.1 success by 19.10 points in Claude Code.

将每个技能文件转化为带有通过/失败检查器的沙盒任务,所生成的训练数据使 Claude Code 在 Terminal-Bench 2.1 上的成功率提升了 19.10 分。

Skill files usually sit in the prompt, so they only help if the agent finds and follows them.

技能文件通常位于提示词中,因此只有当智能体找到并遵循它们时,它们才会发挥作用。

SkillGym turns each skill into a sandboxed task with a code checker, then trains on the runs that pass.

SkillGym 将每个技能转化为带有代码检查器的沙盒任务,然后在通过的运行数据上进行训练。

In Claude Code, Qwen3.5-35B-A3B jumped from 39.33% to 58.43% on Terminal-Bench 2.1. With no skill files, it scored 26.81% on SkillsBench, beating the base model with skills at 23.34%.

在 Claude Code 中,Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 上的表现从 39.33% 跃升至 58.43%。在没有技能文件的情况下,它在 SkillsBench 上得分为 26.81%,优于带有技能的基础模型(23.34%)。

Loading the skills on top still helps, lifting it to 51.47%.

在此基础上加载技能仍然有帮助,将其得分提升至 51.47%。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件