跳到主内容
@wquguru
精选82AYiAI 产品与模型

NVIDIA开源PersonaPlex-7B:支持全双工打断的语音助手模型

NVIDIA 刚开源的这个 7B 模型,让语音助手第一次能被你打断。

原文
发到 X
推荐理由

结构清晰拆解了技术原理与使用门槛,对开发者极具参考价值。

NVIDIA 刚开源的这个 7B 模型,让语音助手第一次能被你打断。 PersonaPlex,全双工,边听边说,代码 MIT、权重开放,本地一张卡就能跑。

当前语音 AI 最大的摩擦,从来不是音色不够真,是它不会插话、不会闭嘴。 NVIDIA 开源的 PersonaPlex-7B,专治这个,简单说就是边听边说,不等你讲完。

它不是又一个音色更真的 TTS, 过去的语音助手是三段流水线:先把你的话转成文字,再丢给大模型想,最后合成语音播出来,每一段都在等上一段。

PersonaPlex 把这套东西塞进一个模型,语音直接进、语音直接出。

以前你跟它说话,像用对讲机, 你等它说完,它等你说完,中间一片沉默,谁想插话谁尴尬。听到一半发现不对,也没法直接打断它。

它长在 Kyutai 的 Moshi 架构上,两条流并行:一条在收你的声音,一条同时在生成它的话。 所以你说话时它会在旁边轻声附和,你一开口,它能立刻停下来让你讲。官方论文里,对话自然度 DMOS 是 2.95,Gemini 是 2.80。

更狠的是,人设和声音被它做成了两个开关。 一段文本定角色,一段音频定音色,零样本克隆声音。做语音智能体、游戏 NPC、陪伴产品,不用再自己拼一整套。

语音 AI 最难的从来不是让它开口, 是让它学会插话、附和,和闭嘴。

做语音产品的,可以拿它本地跑:代码用 MIT,权重是 NVIDIA 开放模型许可,不被厂商锁死。 但两个前提先讲清楚——目前主要支持英文,中文还不行;本地大致要一张 24G 显存的卡。 https://x.com/oliviscusAI/status/2109245289798549819/video/1

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件