ElephantBench：探测大模型长尾知识中的认知盲区

事实性问答（QA）通常假设存在单一标准答案，这掩盖了大语言模型（LLMs）是否保留了对长尾事实的不同叙述。为弥补这一空白，我们引入了ElephantBench，这是一个封闭式知识探针，包含通过可审计的基于图的流程生成的1,094个问题。该流程从低曝光度网络语料库中检索相关文档，识别自然出现的分歧，并将其转化为多叙述的问答记录。每个答案都对照原始文档和权威公共网络来源进行验证，并由人工标注员审查。在32个模型中，即使是最强的模型也仅在52.4%的问题上恢复了两种叙述，而在几乎所有剩余问题上，它只回忆起一种叙述而遗漏了另一种。扩大模型规模和推理时推理能力能提高回忆率，但并未消除这种不完整性。语料库分析进一步表明，曝光不平衡偏向于主导叙述，而少数派方面的更多曝光与更完整的回忆相关。这些发现确立了ElephantBench作为可复现的知识探针，用于诊断参数记忆中的认知短视。更广泛地说，我们基于图的基准构建流程提供了一种高效且可扩展的方式，将长尾语料库转化为可追溯来源的知识探针，支持评估和提升下一代LLMs认知严谨性的努力。代码可在 https://github.com/Tencent/ElephantBench 获取。