让LLM Agent学会预测自身失败：基于最终结果的置信度校准

控制一个执行中的大型语言模型（LLM）智能体意味着在长周期任务的每一步中，决定是信任其下一步行动、放弃还是移交给人类。该决策需要一个每步置信度信号，以预测当前 rollout 最终是否会成功。智能体自行报告的口头置信度是一个自然的候选项，但现有的强化学习方法仅针对当前步骤决策的正确性对其进行校准。我们提出了一种方法，将其针对多步 episode 的最终结果进行校准：在 GRPO 下，任务的一组 rollouts 提供成功标签，并使用适当的评分规则将每一步的置信度与实际结果进行评分。在离线强化学习中，对 ALFWorld、TextWorld 和 WebShop 环境中 Qwen2.5-7B 智能体的记录轨迹进行评估，步骤置信度相对于 episode 结果的 AUROC 从接近随机水平提升至 0.68-0.85，且智能体最自信的 top-10% 步骤的成功率平均高出约 4.3 倍。在实时 ALFWorld 智能体的在线强化学习中，四种校准奖励提升了早期步骤的 AUROC，预期校准误差（ECE）从 0.42 降至 0.12 以下，选择性执行效果优于未经训练的智能体和仅基于格式的 RL 对照组，且未降低任务成功率。我们还引入了一种评估协议，将 episode 深度、任务难度和尝试层面的前瞻性分离开来，从而揭示增益所在：训练后的智能体能从第一步就识别出它将失败的任务，而在同一任务中将成功的尝试与失败的尝试区分开则更难，尽管在 TextWorld 上出现了一些早期窗口的信号。