CritICL：利用小模型失败模式实现推理时弱到强泛化

近期在推理时扩展方面的进展显著提升了大语言模型（LLMs）的推理性能。然而，这些方法通常依赖于重复生成或外部验证。为解决这一局限，我们引入了CritICL，一种新颖的推理时框架，它在保持高效率的同时提升了推理能力。我们的关键洞察是，在同一模型家族内，LLM的失败模式在不同模型规模间展现出结构化模式。我们不将失败视为不良输出，而是利用它们作为指导来源。具体而言，我们利用从较弱模型中得出的失败模式，并通过基于批评的上下文示例将其融入推理过程。我们提出了两种变体：CritICL-dynamic，它能自适应地预测特定于输入的失败模式并检索批评；以及CritICL-static，它使用全局失败模式概况提供稳定指导。实验结果表明，CritICL持续优于标准上下文学习，并达到与测试时扩展方法相当或更优的性能，同时所需生成次数和令牌成本显著更低。代码可在 https://github.com/umwyf/CRITICL 获取。