NVIDIA提出全双工语音模型工具调用架构
NVIDIA research papers are on fire recently!
全双工语音Agent落地关键瓶颈的硬核解法，给出完整前后端分离架构与具体性能指标，做语音交互的同学值得细读。
NVIDIA research papers are on fire recently!
NVIDIA 的研究论文最近非常火爆！
Here is another interesting paper where they give full-duplex speech models tool calls.
这里又有一篇有趣的论文，他们让全双工语音模型支持工具调用。
(bookmark it)
（收藏它）
Commercial duplex voice models complete 31 to 51 percent of grounded customer-service tasks under clean conditions.
在清洁条件下，商业级全双工语音模型能完成 31% 到 51% 的基于事实的客户服务项目任务。
Text agents like GPT-5 reach 85 percent on the same tasks in text mode.
像 GPT-5 这样的文本智能体在文本模式下对相同任务的完成率达到 85%。
Most of what a voice agent loses, it loses in the speech pipeline.
语音智能体失去的大部分能力，都损失在语音处理管线中。
The fix routes the decision out of the speech model.
解决方案是将决策过程从语音模型中剥离出来。
The duplex frontend learns to emit a delegation token, forwards streaming transcripts to a text backend LLM for the tool call, and receives the result through a lightweight prefill-and-repeat mechanism before streaming TTS speaks it.
全双工前端学会发出委托令牌，将流式转录文本转发给后端文本 LLM 以进行工具调用，并通过轻量级的预填充与重复机制接收结果，随后由流式 TTS 将其读出。
Tool-call recall runs 92.0 to 97.2 percent with 81.2 percent accuracy at rejecting irrelevant calls. Turn-taking rate, streaming ASR word error rate and spoken-language intelligence all stay at the no-tool-call baseline.
工具调用的召回率在 92.0% 到 97.2% 之间，拒绝无关调用的准确率为 81.2%。话轮转换率、流式 ASR 词错误率和口语智力均保持在无工具调用的基线水平。
Paper: https://arxiv.org/abs/2609.19334
论文：https://arxiv.org/abs/2609.19334
Chat with Paper: https://academy.dair.ai/papers/a-frontend-backend-architecture-for-tool-calls-in-full-duplex-speech-models-2609.19334
与论文对话：https://academy.dair.ai/papers/a-frontend-backend-architecture-for-tool-calls-in-full-duplex-speech-models-2609.19334
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力