Meta论文：利用工作流信号自动校准代码LLM裁判
Great paper from Meta with practical tips for tuning LLM judges.
Agent落地必看的评估难题解法，用零成本信号把裁判准确率翻倍，直接可复用到你的评测链路中。
Great paper from Meta with practical tips for tuning LLM judges.
Meta 发表了一篇优秀论文，提供了调优 LLM 裁判的实用建议。
This one is on keeping LLM code judges calibrated and tested on a deployed coding agent.
本文聚焦于保持 LLM 代码裁判的校准，并在已部署的代码代理上进行了测试。
LLM judges often decide whether an agent's code change is good. But their prompts go stale every time the agent changes.
LLM 裁判通常用于判断代理的代码更改是否良好。但每当代理发生变化时，其提示词就会过时。
AutoRefine fixes the prompt using signals teams already have, like whether tests passed and whether the change got merged.
AutoRefine 利用团队已有的信号（如测试是否通过、更改是否已合并）来修复提示词。
On Meta's deployed agent, agreement between the judge and real outcomes rose from 0.16 to 0.51.
在 Meta 已部署的代理上，裁判与真实结果之间的一致性从 0.16 提升至 0.51。
https://arxiv.org/abs/2611.09291
Chat with Paper: https://academy.dair.ai/papers/autorefine-auto-calibrating-code-judges-from-workflow-outcomes-2611.09291
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力