BenchMIRT：大模型基准测试究竟在测量什么

AllenAI 发布 BenchMIRT，旨在评估 LLM 基准测试是否真正衡量了目标能力。研究指出许多基准存在数据污染或测量偏差，导致分数无法反映真实水平。该工作通过系统性分析揭示了当前评测体系的局限性，为开发者提供更可靠的模型能力评估视角。