SnapBench：移动端多模态检索鲁棒性基准测试

移动 AI 充当视觉神谕，使用户能够拍摄照片并查询相关信息。拍照即问式检索现已成为移动 AI 最常见的入口之一，然而照片往往模糊不清，而文本问题可能简短或存在拼写错误。现有基准测试仅针对干净输入进行评估，或未在拍照即问式检索中隔离配对鲁棒性。因此，我们引入 SnapBench，这是首个面向鲁棒拍照即问式多模态检索的配对基准，涵盖 1,145 个查询、53 种受控污染条件下的 9,085 个图库项目，并附有真人标注。我们评估了 16 种多模态检索器，涵盖双塔编码器和基于嵌入的 VLM（视觉语言模型）。结果表明，图像污染会显著降低检索性能，而文本污染主要影响纯文本检索，对联合检索的影响有限。干净的纯图像检索通常优于联合检索，这表明存在粗粒度文本拖累效应，且在噪声输入下缺乏跨模态回退机制。SnapBench 为评估拍照即问场景下的鲁棒检索提供了受控测试平台。我们进一步提出了 MOOR（模态锚定、异常值感知、最优重加权），这是一种简单的自适应融合方法，强调了在拍照即问检索中对可靠性感知的模态校准的需求。