Task-CoEvolve:自适应验证任务选择,优化效率提升80%
Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection
我们提出了一种通过自适应验证任务选择来实现高效LLM框架优化的新方法。框架优化迭代地基于验证性能重写框架代码,从而在不更新底层模型权重的情况下实现显著的性能提升。然而,现有方法在每次迭代中都会完整评估一个固定的验证集,即使在框架演进过程中某些任务变得不那么具有区分性,也会产生大量的评估成本。我们提出了Task-CoEvolve,它通过解决两个挑战来与框架共同演进验证任务:选择信息量大的任务以及从部分评估中估计完整集性能。Task-CoEvolve基于这样的观察:候选框架在不同任务上的分歧比那些一致解决或失败的任务更能区分它们。它使用基于过去结果的方差加权采样,将评估集中在能力前沿附近的任务上,采样分布随着框架的演进而自适应调整。然后,它通过考虑采样概率来从采样任务中估计完整集分数,从而在评估不同子集的情况下实现跨迭代的一致比较。在在线文本分类和Terminal-Bench 2.1上的实验表明,Task-CoEvolve始终优于基于子集的基线,并匹配完整集搜索的最终性能,同时将优化过程中的评估次数减少了80%。代码将在https://github.com/Agent4Science-UTokyo/Task-CoEvolve发布。
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力