LLM Agent 切换模型的“交接税”：成本与质量权衡研究

编码代理执行长时间运行的任务，涉及数十次模型调用、工具使用和代码编辑。随着这些运行过程的展开，用户面临一个实际的质量与成本权衡：当较便宜的模型遇到困难时升级到更强的模型，或者在繁重的推理完成后降级。每次切换都要求接收方继续由另一个模型产生的非原生轨迹。我们研究了这种交接如何影响质量和成本，以及接收方继承的轨迹信息的变化如何改变结果。使用来自Claude和GPT系列的低成本、低能力（LC）和高成本、高能力（HC）模型对，我们变化交接方向、时机和接口，比较全轨迹转移、压缩和移除轨迹同时保留仓库状态。在两个模型系列中，全轨迹升级恢复的LC到HC质量差距不到一半，同时产生了显著的成本溢价。我们将这种成本质量惩罚称为交接税。相比之下，降级提供了一个有利的成本质量点。有趣的是，首选接口也随方向反转：减少LC模型轨迹信息提高了升级质量，而移除HC模型轨迹则降低了降级质量。