ARBITER：基于可验证反馈的代理代码评判模型

大型语言模型（LLM）的测试时扩展可能涉及生成多个候选解以供选择或修订早期尝试。为了指导选择和修订，我们需要一个能够估计候选正确性并提供失败证据的验证器。然而，在竞技编程中，官方评判系统在有限的提交预算下提供权威判定，但不揭示失败解释或失败的输入。为了在不消耗官方提交的情况下提供信息丰富的反馈，我们构建了一个任务，其中模型仅使用问题陈述和源代码来评判和诊断候选程序，生成的反例作为可检查的证据。为了评估此任务，我们从 USACO 2026 竞赛中构建了 USACO-JUDGE，使用了由人类专家和多个 LLM 编写的已接受和未接受的程序。然后，我们在通用执行沙箱中使用强化学习训练 ARBITER，这是一个 35B 混合专家（MoE）代理验证器。训练将错误程序的 Counterexample 成功率从 40.61% 提高到 62.67%，并将 USACO-JUDGE 上的平均二元判定准确率从 71.41% 提高到 87.41%，接近前沿验证性能。除了验证之外，ARBITER 在代码选择和精炼方面均优于基线。在 IOI 2026 的案例研究中，ARBITER 引导的精炼使 GPT-OSS-120B 的预期分数在官方提交限制下超过了金牌阈值。