Fish Audio Drama 3技术报告：35B MoE语音生成模型

我们推出 Fish Audio Drama 3，这是一个开源语音生成模型，可将文本转化为带有指导的表演。该模型基于一个拥有 350 亿参数的混合专家（MoE）主干网络，每 token 激活 30 亿参数。它能够从多个参考中克隆声音、遵循自然语言指令、在下一轮给出反馈时修改当前轮次的表演、为多角色场景配音、通过填充方式编辑现有语音，并合成长篇及流式音频。多轮修订、场景配音、填充式编辑和流式文本输入是 Drama 3 的新增功能，且全部集成于单一模型中。Drama 3 将混合线性注意力主干与一种新的代码本多 token 预测音频解码器相结合，该解码器在专门的网络层中预测每一帧的声学代码本，并对整个序列进行注意力计算。模型采用三阶段预训练配方、指令微调以及大规模批处理强化学习进行训练，其唯一的奖励来自一个经过学习的单一人文偏好模型。在推理方面，其引擎在单个 H200 GPU 上以每秒 271 帧的速度解码单一音频流，而 Fish Audio S2 仅为每秒 177 帧，尽管 Drama 3 的参数数量多出七倍以上。模型权重已在 GitHub (https://github.com/fishaudio/fish-speech) 和 Hugging Face (https://huggingface.co/fishaudio/drama-3) 上提供，推理服务可通过 SGLang-Omni (https://github.com/sgl-project/sglang-omni) 获取。我们强烈建议读者访问 https://fish.audio 来指导他们自己的表演。