BDH-CQ：结合上下文学习与循环潜在推理的模型

我们介绍了BDH-CQ，一种将上下文学习与循环潜在推理相结合的推理模型。推理时呈现的输入会持续更新模型的循环记忆；随后，模型通过在高维潜在空间中进行迭代计算来解决问题，而不会将其中间推理过程用语言表达出来。我们在公开的ARC-AGI-1评估集上评估了该模型，并使用受控的类ARC干预来研究它从演示中学到了什么、如何一致地应用推断出的变换，以及哪些概念仍然难以处理。一个150M参数的配置在计算推理成本为每个任务0.0007美元的情况下达到了29.5%的pass@2。这一操作点突破了先前报道的ARC-AGI-1成本-准确率帕累托前沿，在基准成本效率方面确立了新的最先进水平。