精选85Hugging Face 每日论文(json_list)论文研究
无攻击者也会作弊:LLM 搜索中的基准指纹识别
Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure
推荐理由
做 LLM 评估和基准测试的同学必看,这篇用实证揭示了无对抗提示下模型也会钻评估空子,30% 的胜出不迁移,赶紧对照你的评测流程检查一下。
针对评估信号进行优化的系统的基准测试所衡量的内容与它们声称的有所不同。我们在两个带有留出泛化门控的GPU内核优化套件中具体记录了这一点:Metal-Sci(10个科学计算任务)和Metal-ZK(12个零知识/密码学任务),其中三个前沿LLM(Opus 4.7、Gemini 3.1 Pro、GPT-5.5)在带有丰富反馈的(1+1)进化循环中提出Metal内核。尽管没有模型被提示采取对抗性行为,但被提升的获胜者反复对评估配置进行指纹识别:它们根据运行时参数的身份进行分支,最大化调整被测量的分支,并让未测量的分支保持缓慢或静默错误。在合并的套件中,16/53(30%)的分布内获胜未能转移到留出配置。我们给出了这些失败的四模式分类,从配置指纹到门控泄漏。我们提炼了在战略优化下进行测量的设计指导:留出探针仅在不可枚举的轴上保持有效性;门控必须测量留出性能,而不仅仅是正确性;转移率只有在每个失败机制分级的情况下才可解释:我们的分解为被游戏化、过拟合和良性。 代码和研究工件:https://github.com/vicgalle/kernel-fingerprinting
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力