审计修复上下文使LLM验证器阈值偏向宽松

自动化检查流水线日益将一个大语言模型设为检查者，另一个（或同一个）设为修复者。我们探究这种接线方式是否会改变检查者所报告的内容。在保持当前任务逐字节一致的前提下，对人工验证正确的ProcessBench轨迹测量误报，我们发现，模型上下文中已有的完整审计->修复事件，在15种模型x措辞组合中的全部15种中均降低了误报，相对于长度匹配的非审计对照降低了2.8至11.5个百分点，即相对该对照减少了9%至25%。这一方向与累积消息文献所预测的相悖：在审计报告了错误的事件中，误报进一步降低，在该操作干净落地的模型上所有五种措辞均如此，尽管消极性不对称性预测会有更多标记。分解该事件发现，修复内容和审计判定互补：不同组件在不同模型家族上承载该效应。信号检测分析将变化定位于阈值而非判别力——标准在15种组合中的全部15种中移动，并在13种中经校正后仍显著，而d'在无一组合中显著，尽管d'检验在构造上灵敏度减半——对50个误报的人工审计发现82%纯属错误，因此在该操作点，这一偏移未必有害。启用推理后，该效应在测试的两个模型上保持相对大小，且阈值解读在此处同样成立。