低频不可听输入可致音频模型失效，新方法揭示并缓解风险

大型音频语言模型（LALMs）在理解多样化音频输入方面展现了强大的能力。这种多样性包括人类听不见但能进入模型并影响其生成的低频信号。然而，这种低频输入对LALMs的实际影响在很大程度上仍未得到探索。在本文中，我们提出了间歇性低频锁定（ILL），一种在黑盒设置下使用通用波形模板评估这种风险的无声红队方法。ILL使用句子注意力尺度估计来确定活动区间，并利用频率混淆转移从语料库频谱变化中构建具有连续相位的低频波形。为了缓解这种风险，我们提出了分布性重新查询防护（DRG），用于检测低频分布偏移并有条件地请求第二次录音以进行语义恢复。在六个LALMs和多个音频理解任务中，ILL将准确率降低了高达67个百分点，同时获得的人类可听性平均评分为1.33，接近干净音频的1.17；DRG在干净重新获取后将平均受攻击准确率从28.5%提高到46.1%。这些发现识别了LALMs一个先前被忽视的安全风险，并为未来鲁棒音频理解研究提供了基础。