← 全部模型资讯

NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点

据 NVIDIA 2026 年 10 月 28 日博客,Nemotron 3.5 Transcribe 以开放权重发布,单检查点覆盖 40 语种转写、13 语种说话人归属与 31 语种英译互译,并公开 Granary v2 数据管线与微调配方。

发布 更新
原报道封面 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道封面原始报道 ↗

发生了什么

据 NVIDIA 于 2026 年 10 月 28 日发布在 Hugging Face 的博客,公司以开放权重形式推出 Nemotron 3.5 Transcribe,检查点标识为 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B,已上架 Hugging Face 与 ModelScope。它把转写、说话人归属、翻译和音频问答放进同一个检查点:可转写 40 种语言,在其中 31 种语言与英语之间互译,在 13 种语言上标注说话人;单段录音最长一小时,最多标记八位说话人,并支持词级时间戳。架构是语音编码器加混合 Mamba–Transformer 的混合专家语言模型,总参数 30B、每 token 约 4B 激活。发布方同时放出 Granary v2 数据清单与 NeMo Curator 整理管线,以及 NeMo Speech 微调配方。博客称该模型在 Hugging Face 开放 ASR 排行榜英语开放权重赛道以 5.33% 平均 WER 居首,多语言七语平均 4.62%、长音频 10.98%;在 Artificial Analysis 的 AA-WER 上以 2.8% 与另一开放权重模型并列第一,约 4B 激活参数对应对方 24B;在 David AI 的 21 语言说话人归属榜以 18.26% DER 居首,略优于 NVIDIA 自家的 Nemotron 3 Diarization(18.38%);在 VoiceArena 的 14 系统比较中取得最低 cpWER 32.4%。这些数字均为发布方博客对第三方榜单结果的转述,榜单口径与快照时间需自行核对。

对开发者的影响

对接入方式最直接的影响,是原本需要语音识别模型加说话人分离模型再拼接的流程,可以收拢成一个检查点加一段自然语言提示。博客描述的机制是 Sortformer 说话人线索与声学特征一起进入语言模型,在生成过程中直接标注话轮,而不是等转写完成后再把说话人贴回词上——这对重叠语音和多人会议的时间轴对齐是结构性变化,而不是换个更强的识别器。但能力边界同样明确:翻译只覆盖 31 种语言与英语之间,不提供任意语种对;音频问答按博客说法仅以英语训练;模型面向录制音频,不做实时流式。部署侧,博客称可在单块 NVIDIA GPU 上运行,从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心卡,提供 vLLM 服务路径与 NeMo-Speech.cpp 本地运行路径,另有 Baseten、DeepInfra、Simplismart 的托管端点;发布方给出的吞吐是在单块 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度、30 秒片段、高并发测得三分钟处理 100 小时音频,这一条件与长录音、低并发或非 NVFP4 精度的真实负载差别很大。Granary v2 的意义在于把提示级控制延伸到训练:公开清单覆盖 48 种语言、16 个源语料库、463,062 小时,并提供 tn_raw、itn_raw、itn_clean 三种转写形态;博客明确这些数字描述的是数据集发布,不是 Transcribe 的完整训练混合或采样权重。

接入与评估建议

以下为基于来源的判断与建议,不是已核实的事实。第一,先决定是否把现有“识别加分离”级联换成一个检查点:可替换的前提是负载以录制音频为主、单段不超过一小时、说话人不超过八位、目标语言落在覆盖范围内;若产品需要实时字幕或流式转写,这个模型按博客自述就不适配,应直接排除而不是靠工程绕。评估准则是在自己的留出会议录音上同时算 cpWER 与 DER,并与现网级联在相同删除率下对比——VoiceArena 报告其删除词占比 8.32%,而对比中位数约 31%,删除率差异会显著影响下游摘要与检索质量。第二,先提示、后微调:来源的医疗案例显示,在提示中写明语言与文字系统把全基准 WER 从 30.8% 降到 23.8%,微调后再降到 11.8%;按说话人切分的留出集上是 22.44% 到 12.17%,相对降低 45.8%。因此可执行的门槛是:先建立提示基线,只有当领域实体错误在留出说话人上仍然居高时才启动微调,前提是至少保留 100 条真实标注片段用于检查点选择,并按说话人而非随机切分。评估准则是留出 WER、关键词 WER 与语义 WER 三项同时看,另加通用语音回归集——来源自己也报告 LibriSpeech test-clean 从 1.54% 微升到 1.69%,通用能力回退需要用自己的语料确认,不能假设为零。第三,自托管还是托管端点:取决于音频量与数据驻留要求,评估准则应改为在自己片长分布下测每小时音频消耗的 GPU 时间,而不是引用发布方的 30 秒片段高并发数字;片长接近一小时时预填充与显存压力会完全不同。

限制与待确认事项

博客文本只称该模型为开放权重,未在正文给出模型许可条款;权重可下载不等于获得开源许可,商用与再分发权利需以模型卡和随附条款为准。Granary v2 的源音频要求按各语料库原始许可单独下载,清单本身不附带这些音频权利。所有准确率与错误率数字均来自发布方博客对第三方榜单的转述及厂商自建案例,榜单会随时间变化,医疗案例只覆盖单一语种与单一领域,合成数据配方也不保证迁移到其他行业。音频问答仅英语训练、翻译仅限英语对、不支持流式,都是硬约束而非调参可解。需要明确:Nemotron 3.5 Transcribe 这一版本目前未在 KimiSeek 模型目录中列出,博客所述的 Hugging Face、ModelScope 下载与第三方托管端点均指厂商及其合作方的可用性,接入前应以实际页面与条款为准。

原报道配图

原报道配图 1 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道配图 1原始报道 ↗
原报道配图 2 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道配图 2原始报道 ↗
原报道配图 3 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道配图 3原始报道 ↗
原报道配图 4 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道配图 4原始报道 ↗
原报道配图 5 — NVIDIA 开放 Nemotron 3.5 Transcribe 权重:转写、说话人归属与翻译合进一个检查点
原报道配图 5原始报道 ↗

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

NVIDIA Nemotron 3.5 Transcribe 与 Granary v2:可提示、可适配的智能多语言转写

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。