Prefix Sliding：高效测试时扩展，推理提速3倍

测试时扩展利用额外的测试时计算来提升性能，例如让语言模型在解决问题时进行更长时间的推理。由于模型通过全注意力机制将整个推理轨迹保留在内存中，需要长时间思考的困难任务可能会变得极其昂贵。然而，我们发现随着模型继续推理，大多数中间推理令牌的重要性会降低。这引发了对保留这些令牌是否值得付出成本的质疑。基于这一洞察，我们提出了前缀滑动（Prefix Sliding），该方法在推理过程中丢弃不属于前缀或最近几千个令牌窗口的令牌。前缀包含模型可用的关键指令和工具，而最近的令牌则是模型当前正在进行的推理。这限制了总内存需求，无论模型推理多长时间，都能实现高效的长时程测试时扩展。无需训练，前缀滑动即可使现有模型速度提升3倍，同时保持性能。使用前缀滑动进行强化学习训练，可以通过扩展到超过十万个令牌的推理轨迹来实现更好的性能。消融实验表明，前缀滑动优于对中间令牌进行摘要或使用普通滑动窗口的方法。我们的代码位于 https://github.com/Muennighoff/prefix-sliding