跳到主内容
@wquguru
精选75Hugging Face 每日论文(json_list)论文研究

多跳RAG放大ASR错误:实体图与迭代改写反而加剧鲁棒性下降

Better Retrieval, Worse Robustness:How Multi-hop RAG Amplifies Upstream ASR Errors

原文
发到 X

基于语音的应用在进入任何检索模块之前,会先通过自动语音识别(ASR)处理口语查询,因此ASR错误作为固定的上游约束进入流程。我们通过实验测试了标准检索增强生成(RAG)的两种扩展——实体图谱链接和迭代重构——是吸收还是放大了这些错误。利用通过神经TTS合成的四种英语口音,我们在三个多跳问答基准(HotpotQA、2WikiMultiHopQA和MuSiQue)上评估了四种RAG配置,并与干净文本的基准进行了对比。尽管结构更丰富的配置在ASR输入下通常保持更高的绝对F1分数,但两种扩展都放大了错误:在所有三个基准上,从干净文本到最高词错误率口音的F1差距,在它们的组合下比在朴素密集检索下大36-67%。主要的失败模式是一个或多个查询实体的损坏,在2WikiMultiHopQA上占所有四种方法退化案例的87-96%。两种轻量级的表面形式缓解措施大部分差距仍然存在,表明下游检索结构放大了剩余的实体错误。我们在https://github.com/ZhenghuaBao/spoken-multihop-rag 发布了代码和数据。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近