东京大学提出Task-CoEvolve：自适应测试选择优化Agent评估成本
Most of the tests used to grade an AI agent are a waste of money.
Agent评测是高频刚需，这篇给出了具体的自适应采样算法和量化收益，做Agent的同学可以直接参考其评估流程设计。
Most of the tests used to grade an AI agent are a waste of money.
大多数用于评估 AI 智能体的测试都是浪费钱。
A new University of Tokyo paper counts them. Tasks every version passes, plus tasks no version can pass, are over 70% of the test set.
东京大学的一篇新论文对它们进行了统计。每个版本都能通过的任务，以及没有任何版本能完成的任务，占测试集的 70% 以上。
They cost the same as any other test and tell you nothing.
它们的成本与其他任何测试相同，却什么也告诉不了你。
So the method, Task-CoEvolve, keeps only the tests where past versions disagreed, and picks a fresh set each round, because a test that was hard last round may be easy now.
因此，Task-CoEvolve 方法只保留过去版本意见不一致的测试，并在每轮选取一组全新的测试，因为上一轮很难的测试现在可能变得简单了。
It then adjusts the score for how the tests were picked, so rounds using different tests still compare.
然后它会根据测试的选择方式调整分数，以便使用不同测试的各轮之间仍可比较。
On Terminal-Bench 2.1, grading each version on 20% of the 89 tasks ends within about one task of grading all of them.
在 Terminal-Bench 2.1 上，对 89 个任务中的 20% 进行评分，其结果与对所有任务进行评分仅相差约一个任务的水平。
Cost drops 67 to 80%. Time drops by half.
成本降低 67% 至 80%。时间减半。
Picking the same number of tests at random is cheaper still, but random picking grabs the short easy ones, and lands 3.3 points worse.
随机选取相同数量的测试成本更低，但随机选取会挑中那些短小简单的任务，导致得分低 3.3 分。
Cheap and useful are not the same thing.
便宜和有用不是一回事。
Before you shrink an eval loop, ask whether what's left can still tell your candidates apart.
在缩减评估循环之前，先问问剩下的部分是否仍能区分你的候选者。
– arxiv. org/abs/2608.20169
– arxiv.org/abs/2608.20169
Title: "Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection"
标题：《Task-CoEvolve：通过自适应验证任务选择实现高效的 Harness 优化》
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力