Home
avatar

麒麟剑

英伟达 Nemotron 3.5 Transcribe:一次录音,四种输出——转录、说话人、翻译、音频问答合一了

英伟达在 10 月 28 日放出了 Nemotron 3.5 Transcribe:一个开放权重、“promptable”(可用自然语言指令控制输出)的语音大模型。

定位先说清楚,免得期望错位:它不是给实时直播做字幕的。官方原话是 “built for recorded audio, not live streaming”——它是为录音准备的:会议录音、课堂录像、访谈音频、客服通话。丢进去一段录音,出来的是转写、说话人标注、翻译、音频问答。

一个 checkpoint,干四件事

传统语音处理是一条流水线:ASR 转写 → 说话人分离(diarization)→ 翻译模型 → 问答模型,每个环节一个模型。Nemotron 3.5 Transcribe 把它们压进了一个 checkpoint:

  • 转录:40 种语言,支持逐字与书面两种形态,带词级时间戳
  • 翻译:31 种语言与英语互译
  • 说话人标注:13 种语言,单录音最长 1 小时、最多区分 8 个说话人
  • 音频问答:对录音内容提问并得到回答(仅英语训练)

官方演示里有个很直观的例子:1940 年电影《他的女友礼拜五》中语速极快、大量重叠对白的片段,模型能分角色生成字幕——转写和说话人归属是在生成文本的同时完成的,不是后处理贴标签。

Nemotron 3.5 Transcribe 四任务合一架构

▲ 一个 checkpoint 覆盖转写、翻译、说话人标注、音频问答;语音编码器与说话人编码器读同一份频谱图,输出投影进 Nemotron-H 语言模型。

最大的差别:转写形式写进 prompt 里

传统 ASR 是”固定输出”:给你一段文字,格式爱要不要。Nemotron 3.5 Transcribe 把输出形态变成了指令——官方 README 给了六种可切换的转写形态:

  1. 逐字转写:保留重复、犹豫、假启动、不完整的词,原样还原
  2. 书面化转写:按书面表达习惯整理
  3. 上下文辅助转写:你把专有名词、产品术语、行业词汇丢进 prompt,识别时优先照顾它们
  4. 说话人标注转写:谁说的哪句,直接写进文本
  5. 丰富转写:连笑声等非言语信息也记录
  6. 语音翻译:直接输出目标语言文本

一个官方示例 prompt 长这样:

Transcribe the audio word for word in the original language. Preserve repetitions, hesitations, false starts, incomplete words, and the speaker’s grammar. Write Mandarin in simplified Chinese characters and English in the Latin alphabet.

注意最后一句:官方示例里中文明确要求简体。对中文用户这是个好消息——至少在 prompt 层面,简体中文是被认真对待的。

“上下文辅助”(contextual biasing)不是噱头。英伟达给了一个医疗案例:在 Eka Care 的印度医生语音基准(3,619 条录音)上,只是在 prompt 里点名”英语 + 拉丁字母拼写”,就能显著压低专有名词的错误率;而完整微调后,留出集 WER 从 22.44% 降到 12.17%,降幅 45.8%(厂商自报口径,见文末口径说明)。对术语密集的场景(医疗、法律、金融访谈),这比换个更大的通用模型实在。

架构与参数:别被两个数字绕晕

你会看到两个版本的参数数字,这里一次说清:

  • 30B / 每 token 约 4B 激活:这是 Hugging Face 官方 checkpoint 命名 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 的口径,MoE 架构。
  • 34B / 约 4.3B 激活:部分第三方媒体的写法,把音频编码器也算进了总参数。

写稿统一用官方口径:30B MoE,约 4B 激活。架构上,一个 Transformer 语音编码器和一个说话人编码器读同一份频谱图,输出投影进混合 Mamba-2–Transformer 的 Nemotron-H 语言模型(基于 Nemotron 3.5 Lightning);词级时间戳由编码器上的时间戳头直接输出。上下文 65,536 token,足够吞下一小时录音的转写需求。

“约 4B 激活”意味着推理成本远低于 30B 这个数字看起来的样子——这也是它敢说”单卡可跑”的底气。

榜单成绩:开放权重组第一,但记住口径

  • HF Open ASR Leaderboard 英语组:开放权重模型第一,平均 WER 5.33%(API 模型不参与排名)
  • 同榜多语言 7 语平均:4.62% WER,开放权重组最低;长音频:10.98%,同组最低
  • Artificial Analysis speech-to-text:2.8% AA-WER,并列开放权重第一——关键是对手每 token 激活 24B 参数,它只用约 4B
  • VoiceArena 英语 Diarization-Bench:14 个系统第一,cpWER 32.4%,删除率 8.32%(14 个系统的中位数约 31%)
  • David AI 21 语言 diarization:DER 18.26% 最低,略胜自家 Nemotron 3 Diarization 的 18.38%
  • 多说话人场景:cpWER 15.80,对手 DiCoW v3.3 + DiariZen 组合是 16.83

Nemotron 3.5 Transcribe 榜单成绩一览

▲ 榜单成绩均为英伟达官方发布口径(2026-10-28),未经独立验证;部署前请用自己的录音实测。

口径必须说在前面:以上全部是英伟达官方发布口径,榜单数字未经独立验证。厂商自报的第一名,含金量要打折扣看——但多个榜单同时第一,至少说明它不是偏科生。

Granary v2:46 万小时数据也一起开源了

模型之外,Granary v2 数据集与数据管线同步开放:公开 manifest 共 463,062 小时、48 种语言、16 个来源语料(v1 是 25 种语言)。英伟达明确说明,这个数字描述的是数据集发布口径,不等于模型的完整训练配比。

这对中文开发者是个实在的利好:数据管线用 NeMo Curator 构建、可复用,意味着你可以照着它的方法,用自己的中文语料做领域适配——而上面医疗案例证明,领域适配的收益是真实存在的。

部署:vLLM 即装即跑,许可友好

  • vLLM 可直接部署,另有 NeMo-Speech.cpp 与 Baseten、DeepInfra、Simplismart 的云端 endpoint;DeepInfra 走 OpenAI 兼容的 speech-to-text API,迁移成本低
  • 权重提供 BF16,另有 FP8 与 NVFP4 量化版;NVFP4 下一块 RTX PRO 6000 Blackwell 不到 3 分钟处理 100 小时音频(厂商口径)
  • 许可 OpenMDW-1.1:免费使用、修改,含商用,只需保留许可与版权声明

从 Jetson AGX Thor、DGX Spark 到 Blackwell,“单卡可跑”覆盖的范围相当宽。对不想把录音传给第三方 API 的团队(会议、客服、医疗),本地部署+数据自持是它最有说服力的卖点。

诚实短板:先看完这四条再决定用不用

  1. 只做录音,不做直播:实时字幕、语音助手这种流式场景不在它的射程内。实时路线是另一个约 600M 的 Nemotron 3.5 ASR 小模型,别写混、别买错。
  2. 音频问答只在英语上训练:中文录音可以转写、可以标说话人,但”你问它答”别指望中文能用。
  3. 中文远场会议是它的短板:MarkTechPost 独立实测,在 AliMeeting 中文远场会议上 cpCER 34.95%。榜单第一不等于你的会议室第一——嘈杂、多人、远场、中文,这四个 debuff 叠满时,榜单成绩不能直接推广。
  4. 所有数字都是厂商自报:部署前,用自己的录音、自己的口音、自己的术语测一遍,再决定。

避坑一句话

搜到 nemotronasr.com 别当成官方——它和英伟达没有任何关系,包的是上面提到的那个 600M 流式小模型,不是这个 30B。认准 Hugging Face 官方账号 nvidia 下的 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B。

谁适合现在动手

会议纪要工具、访谈整理、客服质检、媒体转写——四个条件占得越多越适合:录音场景(非实时)、有说话人需求、术语密集、想自己掌控数据不走第三方 API。vLLM 一把梭,prompt 里写清楚你要哪种形态的文字,剩下的交给模型。

语音赛道正在从”转写准不准”卷到”转写之后”:转写只是起点,谁说了什么、翻译成什么、能不能直接问录音要答案,才是工作流真正的终点。Nemotron 3.5 Transcribe 的价值不在于某一项单点第一,而在于它把”之后”这三件事和转写做进了一个 checkpoint——还附带把 46 万小时的数据管线一起开源了。录音场景的团队,这次可以认真评估一次;直播场景的,等那个 600M 的小模型。

英伟达 Nemotron 语音大模型 语音转录 说话人分离 开源模型