NVIDIA发布开源语音大模型Nemotron 3.5 Transcribe
NVIDIA Releases Nemotron 3.5 Transcribe: An Open 30B MoE Model for 40-Language Transcription with ~4B Active Parameters
NVIDIA开源了首个能同时处理转录、说话人分离和时间戳对齐的语音大模型，架构创新且覆盖多语言，做语音应用的同学值得重点关注。
NVIDIA has released Nemotron 3.5 Transcribe, an open-weights speech LLM built for transcription. One model handles 40 languages and recordings up to 1 hour. A text instruction picks the output style for each request. Options include verbatim, written form, speaker-attributed, contextual and translated output. For developers, it can replace separate ASR, diarization and alignment tools.
NVIDIA 发布了 Nemotron 3.5 Transcribe，这是一款专为转录任务构建的开放权重语音大语言模型。该模型支持 40 种语言以及长达 1 小时的录音。通过文本指令，可为每次请求选择输出风格。选项包括逐字记录、书面格式、说话人归属、上下文关联和翻译输出。对于开发者而言，它可以替代单独的自动语音识别 (ASR)、说话人分离和对齐工具。
TL;DR
TL;DR（太长不看版）
- Size: 34B total and about 4.3B active parameters; 65,536-token context; audio up to 1 hour.
- Runs on: 1x H100 80 GB in BF16. FP8 (about 35 GB) and NVFP4 (about 21 GB) checkpoints exist; NVFP4 runs on an RTX 5090. GGUF files target NeMo-Speech.cpp.
- Performance: Best open-weights model on the English and multilingual Open ASR Leaderboards; top commercial APIs still lead.
- Best: 4.71% mean WER on the 9 public English Open ASR sets (next open model: 4.94%).
- Worst: 34.95% cpCER on AliMeeting Mandarin far-field meetings.
- Bottom line: Best thing: 1 open model covers transcripts, speaker labels, timestamps and translation. Worst thing: offline only, with weak Mandarin meeting accuracy.
- 规模：总参数量 34B，活跃参数约 4.3B；上下文长度 65,536 token；音频最长 1 小时。
- 运行环境：BF16 精度下需 1x H100 80 GB。提供 FP8（约 35 GB）和 NVFP4（约 21 GB）检查点；NVFP4 可在 RTX 5090 上运行。GGUF 文件面向 NeMo-Speech.cpp。
- 性能：在英文和多语言 Open ASR 排行榜上表现最佳的开放权重模型；顶级商业 API 仍领先。
- 最佳表现：在 9 个公开英文 Open ASR 数据集上的平均词错误率 (WER) 为 4.71%（次优开放模型为 4.94%）。
- 最差表现：在 AliMeeting 普通话远场会议数据集上的字符错误率 (cpCER) 为 34.95%。
- 总结：最大优点：单一开放模型即可覆盖转录文本、说话人标签、时间戳和翻译功能。最大缺点：仅支持离线运行，且对普通话会议场景的准确率较弱。
What is Nemotron 3.5 Transcribe?
什么是 Nemotron 3.5 Transcribe？
Nemotron 3.5 Transcribe is a speech-augmented language model (SALM) from NVIDIA that turns audio and instructions into text. An audio encoder feeds embeddings into an LLM decoder, which makes transcription promptable. NVIDIA’s technical research report argues there is no single correct transcript. Numbers, fillers and domain terms depend on who reads the output. NVIDIA positions the model as a transcription specialist, not a general-purpose assistant.
Nemotron 3.5 Transcribe 是 NVIDIA 推出的一款语音增强型语言模型 (SALM)，可将音频和指令转换为文本。音频编码器将嵌入向量输入到 LLM 解码器中，使转录过程可通过提示词进行控制。NVIDIA 的技术研究报告指出，不存在唯一的正确转录结果。数字、填充词和领域术语取决于谁在阅读输出内容。NVIDIA 将该模型定位为转录专家，而非通用助手。
How does the architecture work?
架构是如何工作的？
It has three parts:
它由三个部分组成：
- Parallel Expert Encoder: a trainable 0.6B Transformer ASR encoder runs beside a frozen Nemotron 3 Diarization model. The diarizer tracks up to 8 speakers. Its speaker activity is added to the ASR features every 80 ms. The LLM therefore sees who spoke when, without architecture changes.
- LLM backbone: Nemotron 3.5 Lightning 30B-A3B, a hybrid Mamba-Transformer MoE. It has 52 layers: 23 Mamba-2, 23 MoE and only 6 attention layers. Each MoE layer routes to 6 of 128 experts plus 1 shared expert. Few attention layers keep the KV cache small for hour-long audio.
- Add-ons: a shared multi-token prediction (MTP) layer drafts tokens for speculative decoding. A 50M-parameter CTC adapter aligns the finished transcript to audio for word timestamps.
- 并行专家编码器：一个可训练的 0.6B Transformer ASR 编码器与一个冻结的 Nemotron 3 Diarization 模型并行运行。说话人分离模型最多可追踪 8 位说话人。其说话人活动信息每 80 毫秒添加到 ASR 特征中。因此，LLM 无需修改架构即可获知谁在何时发言。
- LLM 主干网络：Nemotron 3.5 Lightning 30B-A3B，一种混合 Mamba-Transformer MoE（混合专家）架构。它包含 52 层：23 层 Mamba-2、23 层 MoE 和仅 6 层注意力层。每个 MoE 层将路由至 128 个专家中的 6 个，加上 1 个共享专家。较少的注意力层有助于保持 KV 缓存较小，以支持长达一小时的音频处理。
- 附加组件：一个共享的多令牌预测 (MTP) 层用于草稿生成，以支持推测解码。一个 50M 参数的 CTC 适配器用于将最终转录结果与音频对齐，从而生成单词级时间戳。
The model name says 30B-A4B, but the checkpoint holds about 34B parameters. The extra weight comes from the 1.3B MTP module and the audio components.
模型名称显示为 30B-A4B，但检查点实际包含约 34B 参数。额外的权重来自 1.3B 的 MTP 模块以及音频组件。
Training used 1 supervised fine-tuning stage on 256 H100 GPUs for 28,500 steps. A short RL stage followed: 400 GSPO updates with a reward of 1 minus WER. The model saw about 1.72M unique hours of audio, or 6.5M hours with repeats.
训练使用了1个监督微调阶段，在256块H100 GPU上进行了28,500步。随后是一个简短的强化学习阶段：400次GSPO更新，奖励为1减去WER。模型接触了约172万小时唯一音频，或包含重复在内的650万小时音频。
How does it score on benchmarks?
它在基准测试中的表现如何？
All numbers below are self-reported by NVIDIA in the technical report.
以下所有数据均由NVIDIA在技术报告中自行报告。
- English Open ASR (9 public sets): 4.71% mean WER. The next open model, Qwen3-ASR-1.7B, scores 4.94%. Seven commercial systems still lead, topped by OtterAI speech-v3.1 at 3.88%.
- Multilingual Open ASR (7 languages): 4.62% mean WER, versus 6.49% for Qwen3-ASR-1.7B. ElevenLabs Scribe v2 reaches 3.56%.
- Long-form ASR: 10.98% mean WER, versus 13.37% for Parakeet-TDT-0.6B-v3.
- Multi-speaker, full sessions: 15.80% mean cpWER, versus 16.83% for DiCoW v3.3 with DiariZen. NVIDIA says it is the first SALM to beat cascaded systems here.
- Contextual ASR: an entity list cuts named-entity WER on ContextASR-Bench from 12.21% to 2.20%.
- 英语开放ASR（9个公开数据集）：平均WER为4.71%。下一个开源模型Qwen3-ASR-1.7B得分为4.94%。仍有七个商业系统领先，其中OtterAI speech-v3.1以3.88%位居榜首。
- 多语言开放ASR（7种语言）：平均WER为4.62%，而Qwen3-ASR-1.7B为6.49%。ElevenLabs Scribe v2达到3.56%。
- 长文本ASR：平均WER为10.98%，而Parakeet-TDT-0.6B-v3为13.37%。
- 多说话人完整会话：平均cpWER为15.80%，而DiCoW v3.3配合DiariZen为16.83%。NVIDIA表示，这是首个在此类任务上超越级联系统的SALM（单一模型自动语音识别）。
- 上下文ASR：通过实体列表，将ContextASR-Bench上的命名实体WER从12.21%降低至2.20%。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力