跳到主内容
@wquguru
精选88Rohan Paul论文研究

微软论文:ActiveSaddler通过主动学习优化Agent训练任务

New Microsoft paper on Automated harness optimization for agents.

原文
发到 X
推荐理由

Agent训练中的任务采样策略直接影响成本与效果,这篇论文给出了具体的量化对比和可复现的方法,做Agent优化的同学值得参考其主动学习思路。

New Microsoft paper on Automated harness optimization for agents.

微软关于智能体自动化夹具优化的新论文。

Most harness auto-tuners focus on how to patch prompts and tools, but which tasks produce the feedback also changes how good the final harness gets.

大多数夹具自动调优器专注于如何修补提示词和工具,但哪些任务产生反馈也会影响最终夹具的质量。

But you will get stronger AI agents when you pick training tasks based on which failures are still unfixed, so stop feeding them a fixed task list.

但当根据仍未修复的故障来选择训练任务时,你将获得更强大的 AI 智能体,因此请停止向它们提供固定的任务列表。

ActiveSaddler tracks failure patterns and works on the one most worth fixing, or tries unseen tasks to find new ones.

ActiveSaddler 跟踪故障模式并处理最值得修复的那个,或尝试未见过的任务以发现新的故障。

On the same optimizer, ActiveSaddler raised test pass rates by 4.4 points on GAIA2 and 7.5 points on Terminal-Bench 2.0. Reaching 58.5% GAIA2 dev accuracy cost $298, versus $1,360 with a fixed order.

在相同的优化器上,ActiveSaddler 使 GAIA2 的测试通过率提高了 4.4 个百分点,Terminal-Bench 2.0 提高了 7.5 个百分点。达到 GAIA2 开发集 58.5% 的准确率成本为 298 美元,而固定顺序的成本为 1,360 美元。

If you auto-tune an agent, aim your run budget at the failures that are still open.

如果你自动调优一个智能体,请将运行预算集中在尚未解决的故障上。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件