MNIST-PRO：构建部分可观测环境下的AI智能体感知基准

在部分可观测环境中，AI 智能体需要将主动感知与工作记忆相协调，以维持不断演变的感知状态。然而，现有的基准测试难以隔离这种感知状态的构建与解释能力，因为它们引入了物理和控制方面的复杂性。我们通过 MNIST-PRO 解决了这一问题，这是一个将 MNIST 数字识别转化为具有回溯限制的顺序性、基于瞥视的搜索任务的基准测试，从而隔离了智能体的感知能力。我们在四种记忆表示下评估了十个多模态模型，包括原始视觉历史、文本状态、结构化度量网格地图以及整合后的视觉画布。虽然模型在全可观测条件下表现出色，但部分可观测性暴露出明显的性能差距。我们确定了三个不同的瓶颈。首先，感知状态的构建与解释构成挑战，因为智能体难以整合碎片化的瞥视信息。其次，智能体往往在看到完整序列之前就停止探索。第三，即使面对后续相互矛盾的证据，模型也常常无法修正早期错误的信念。这些结果表明，仅仅获取视觉证据是不够的。智能体还必须能够构建和更新可靠的感知状态。