ServiceNow与麦吉尔论文：AI裁判难以识别Agent细微错误
New ServiceNow and McGill paper finds that AI judges still miss subtle mistakes…
Agent评测是落地关键瓶颈，这篇论文用真实场景数据揭示了当前主流模型作为裁判的盲区，做Agent评测的同学务必参考其方法论。
New ServiceNow and McGill paper finds that AI judges still miss subtle mistakes in long computer-use tasks, and giving them tools does not reliably help.
ServiceNow 与麦吉尔大学的新论文发现，AI 裁判在长计算机使用任务中仍会遗漏细微错误，且为其提供工具并不能可靠地提供帮助。
Teams use LLMs to grade agent runs for training and evaluation. A run of 100+ steps can look finished while it drew the wrong shape or posted to the wrong Slack channel.
团队使用大语言模型对智能体运行进行评分，以用于训练和评估。一次包含 100 多个步骤的运行可能看起来已完成，但它却画错了形状或发送到了错误的 Slack 频道。
They built AgentHorizon, 1,373 judging tasks from human screen recordings. People recorded pairs of near-identical tasks and swapped the instructions, so each failure is a clean run of a slightly different request.
他们构建了 AgentHorizon，包含来自人类屏幕录制的 1,373 个评判任务。人们录制了几乎相同的任务对并交换了指令，因此每个失败案例都是一个针对稍有不同的请求的干净运行。
The best judge, GPT-5.5 in Codex, scored 80.9% balanced accuracy on the hard split, where always saying yes gets 50%. Qwen 3.6 27B did worse with tools, scoring 77.6% reading the whole run directly but 70.4% as an agent.
表现最好的裁判是 Codex 中的 GPT-5.5，在难例划分上达到了 80.9% 的平衡准确率（而始终回答“是”的准确率为 50%）。Qwen 3.6 27B 在使用工具时表现更差，直接读取整个运行过程得分为 77.6%，而作为智能体使用时得分为 70.4%。
Before you trust an LLM judge with agent runs, test it on near-miss failures inside the exact agent setup you will use.
在你信任大语言模型裁判对智能体运行进行评分之前，应在你将要使用的确切智能体设置内，对其在近失误案例上进行测试。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力