斯坦福MIT论文：模型Harness代码对AI性能影响巨大
Stanford + MIT paper on Model Harnesses shows that AI performance depends not ju…
颠覆传统认知，证明工程架构比模型选型更关键。给Agent开发者的系统性优化思路，值得收藏参考。
Stanford + MIT paper on Model Harnesses shows that AI performance depends not just on the model itself, but on the surrounding system code — the “harness”.
斯坦福大学与麻省理工学院联合发表的关于“模型框架”（Model Harnesses）的论文表明，AI 的性能不仅取决于模型本身，还取决于周围的系统代码——即“框架”。
This is what decides what to store, retrieve, show to the model, and how the workflow runs. With the same underlying LLM, changing the harness can create up to a 6× performance gap on the same benchmark.
这决定了存储、检索的内容，展示给模型的信息，以及工作流的运行方式。使用相同的底层大语言模型（LLM），仅改变框架就可能在同一基准测试中造成高达 6 倍的性能差距。
They conclude the harness around a model matters as much as the model itself.
他们得出结论：围绕模型的框架与模型本身同样重要。
The paper introduces Meta-Harness, an outer-loop system that automatically improves harness code. Instead of giving the optimizing agent only a score or a short summary of past attempts, it gives the agent rich access to prior code, logs, and execution traces through a filesystem-like setup.
该论文引入了 Meta-Harness，这是一个外环系统，能够自动改进框架代码。优化代理不再只获得一个分数或过去尝试的简短摘要，而是通过类似文件系统的设置，使其能够丰富地访问先前的代码、日志和执行轨迹。
The idea is that better diagnostic visibility lets the system improve the harness more intelligently.
其理念是，更好的诊断可见性使系统能够更智能地改进框架。
What it found is pretty significant.
其发现的结果相当显著。
- On online text classification, a 7.7-point improvement over a strong SOTA context management, while using 4X fewer context tokens.
- On retrieval-augmented math reasoning, an average gain of 4.7 points across five held-out models on 200 IMO-level problems. On agentic coding, the discovered harnesses beat strong hand-engineered baselines on TerminalBench-2.
- 在在线文本分类任务上，相比强大的当前最佳（SOTA）上下文管理方案提升了 7.7 分，同时使用的上下文 token 数量减少了 4 倍。
- 在检索增强数学推理任务上，在 200 道国际数学奥林匹克（IMO）级别的问题上，对五个保留模型的平均提升为 4.7 分。在智能体编码任务上，所发现的框架在 TerminalBench-2 上击败了强大的人工设计基线。
The paper shifts attention from “which model is best?” to “how is the whole AI system designed?”
该论文将注意力从“哪个模型最好？”转移到了“整个 AI 系统是如何设计的？”。
For real deployments, harness design affects reliability, tool usage, context management, and failure recovery.
在实际部署中，框架设计会影响可靠性、工具使用、上下文管理和故障恢复。
Paper – arxiv. org/abs/2603.28052
论文 – arxiv.org/abs/2603.28052
Paper Title: "Meta-Harness: End-to-End Optimization of Model Harnesses"
论文标题：“Meta-Harness：模型框架的端到端优化”
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力