← Alle Modellneuigkeiten

NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint

Laut einem NVIDIA-Blogbeitrag vom 28. Oktober 2026 wird Nemotron 3.5 Transcribe mit offenen Gewichten veröffentlicht: ein Checkpoint für Transkription in 40 Sprachen, Sprecherzuordnung in 13 Sprachen und Übersetzung zwischen 31 Sprachen und Englisch; auch die Granary-v2-Datenpipeline und ein Fine-Tuning-Rezept werden offengelegt.

Veröffentlicht Aktualisiert
Titelbild des Originalberichts — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Titelbild des OriginalberichtsOriginalbericht ↗

Was sich geändert hat

Laut einem am 28. Oktober 2026 auf Hugging Face veröffentlichten Blogbeitrag von NVIDIA veröffentlichte das Unternehmen Nemotron 3.5 Transcribe mit offenen Gewichten; die Checkpoint-Bezeichnung lautet NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, das Modell wurde auf Hugging Face und ModelScope bereitgestellt. Es vereint Transkription, Sprecherzuordnung, Übersetzung und Audio-Fragebeantwortung in einem Checkpoint: Transkription in 40 Sprachen, Übersetzung zwischen 31 dieser Sprachen und Englisch, Sprecherkennzeichnung in 13 Sprachen; eine einzelne Aufnahme darf bis zu eine Stunde lang sein, bis zu acht Sprecher werden markiert, und Zeitstempel auf Wortebene werden unterstützt. Die Architektur kombiniert einen Audio-Encoder mit einem Mixture-of-Experts-Sprachmodell aus Mamba und Transformer; insgesamt 30B Parameter, etwa 4B pro Token aktiv. Zudem veröffentlichte NVIDIA das Granary-v2-Datenmanifest und die Aufbereitungspipeline NeMo Curator sowie ein Fine-Tuning-Rezept für NeMo Speech. Dem Blog zufolge führt das Modell die englische Open-Weights-Kategorie des Hugging Face Open ASR Leaderboard mit 5,33 % durchschnittlicher WER an; der Mehrsprachig-Durchschnitt über sieben Sprachen liegt bei 4,62 %, Langaudio bei 10,98 %. Beim AA-WER von Artificial Analysis teilt es sich mit 2,8 % den ersten Platz mit einem anderen Modell mit offenen Gewichten, wobei etwa 4B aktive Parameter 24B beim anderen Modell gegenüberstehen. In der Rangliste von David AI zur Sprecherzuordnung über 21 Sprachen führt es mit 18,26 % DER, knapp vor NVIDIAs eigenem Nemotron 3 Diarization (18,38 %); im Vergleich von 14 Systemen bei VoiceArena erreicht es den niedrigsten cpWER von 32,4 %. Diese Zahlen sind die Wiedergabe von Ergebnissen Dritter durch den Blog des Anbieters; Bewertungsmethodik und Snapshot-Zeitpunkt sind selbst zu prüfen.

Auswirkungen für Entwickler

Der direkteste Effekt für die Integration besteht darin, dass sich eine bisher aus Spracherkennungsmodell plus Sprechertrennungsmodell zusammengesetzte Pipeline auf einen Checkpoint und einen natürlichsprachlichen Prompt reduzieren lässt. Laut Blog fließen Sortformer-Sprecherhinweise zusammen mit akustischen Merkmalen in das Sprachmodell, und die Sprecherzuordnung wird während der Generierung direkt ausgegeben, statt nach der Transkription Sprecher den Wörtern zuzuordnen – für überlappende Sprache und die zeitliche Ausrichtung in Meetings mit mehreren Personen ist das eine strukturelle Änderung, nicht nur ein stärkerer Erkennungskern. Die Grenzen sind aber ebenso klar: Die Übersetzung deckt nur 31 Sprachen und Englisch ab, keine beliebigen Sprachpaare; Audio-Fragebeantwortung wurde dem Blog zufolge nur auf Englisch trainiert; das Modell ist für aufgezeichnete Audiodaten gedacht und nicht für Echtzeit-Streaming. Beim Deployment soll es laut Blog auf einer einzelnen NVIDIA-GPU laufen, von Jetson AGX Thor und DGX Spark bis zu Blackwell-Datenzentrumskarten; es gibt einen Serving-Pfad über vLLM und einen lokalen Betrieb über NeMo-Speech.cpp sowie gehostete Endpunkte von Baseten, DeepInfra und Simplismart. Der angegebene Durchsatz wurde auf einer einzelnen RTX PRO 6000 Blackwell Server Edition mit NVFP4-Präzision, 30-Sekunden-Segmenten und hoher Parallelität gemessen: 100 Stunden Audio in drei Minuten. Diese Bedingungen unterscheiden sich stark von realen Lasten mit langen Aufnahmen, niedriger Parallelität oder anderer Präzision als NVFP4. Die Bedeutung von Granary v2 liegt darin, die Steuerung auf Prompt-Ebene bis ins Training auszudehnen: Das veröffentlichte Manifest umfasst 48 Sprachen, 16 Quellkorpora und 463.062 Stunden und bietet die Transkriptionsformen tn_raw, itn_raw und itn_clean; laut Blog beschreiben diese Zahlen die Datensatzveröffentlichung, nicht die vollständige Trainingsmischung oder Sampling-Gewichte von Transcribe.

Integration und Bewertung

Die folgenden Einschätzungen und Empfehlungen beruhen auf der Quelle und sind keine unabhängig geprüften Tatsachen. Erstens: Entscheiden Sie zuerst, ob die bestehende Kaskade aus Erkennung und Trennung durch einen Checkpoint ersetzt werden soll. Voraussetzung ist, dass die Last überwiegend aus aufgezeichnetem Audio besteht, einzelne Abschnitte höchstens eine Stunde lang sind, höchstens acht Sprecher auftreten und die Zielsprachen abgedeckt sind. Braucht das Produkt Echtzeit-Untertitel oder Streaming-Transkription, ist das Modell nach der Darstellung im Blog nicht geeignet; dann sollte es direkt ausgeschlossen und nicht technisch umgangen werden. Bewertungskriterium: auf eigenen zurückgehaltenen Meeting-Aufnahmen zugleich cpWER und DER berechnen und mit der bestehenden Kaskade bei gleicher Löschrate vergleichen. VoiceArena berichtet einen Anteil gelöschter Wörter von 8,32 %, während der Median der Vergleichssysteme bei etwa 31 % liegt; Unterschiede bei der Löschrate beeinflussen die Qualität nachgelagerter Zusammenfassungen und der Suche erheblich. Zweitens: zuerst Prompt, dann Fine-Tuning. In der medizinischen Fallstudie der Quelle sank die WER über den gesamten Benchmark von 30,8 % auf 23,8 %, als Sprache und Schriftsystem im Prompt genannt wurden, und nach Fine-Tuning auf 11,8 %; auf einem nach Sprecher getrennten Holdout-Set ging sie von 22,44 % auf 12,17 % zurück, relativ um 45,8 %. Praktikable Schwelle: zuerst eine Prompt-Baseline aufbauen und erst dann fine-tunen, wenn Fehler bei Domänenentitäten auf zurückgehaltenen Sprechern weiterhin hoch sind; mindestens 100 echte annotierte Segmente für die Checkpoint-Auswahl behalten und nach Sprecher statt zufällig aufteilen. Bewertet werden WER auf dem Holdout, Keyword-WER und semantische WER gemeinsam, dazu ein allgemeines Sprach-Regressionsset. Die Quelle berichtet selbst, dass LibriSpeech test-clean von 1,54 % leicht auf 1,69 % stieg; ein Rückschritt bei allgemeinen Fähigkeiten muss mit eigenen Daten bestätigt werden und darf nicht als null angenommen werden. Drittens: Selbsthosting oder gehosteter Endpunkt. Das hängt von Audiomenge und Datenresidenz ab; als Kriterium sollte man unter der eigenen Verteilung der Segmentlängen die GPU-Zeit pro Stunde Audio messen, statt die Angaben des Anbieters zu 30-Sekunden-Segmenten und hoher Parallelität zu übernehmen. Bei Segmenten nahe einer Stunde sind Prefill und Speicherdruck völlig anders.

Grenzen und offene Fragen

Der Blogtext bezeichnet das Modell nur als eines mit offenen Gewichten und nennt im Text keine Lizenzbedingungen für das Modell. Herunterladbare Gewichte bedeuten keine Open-Source-Lizenz; Rechte an kommerzieller Nutzung und Weitergabe richten sich nach der Modellkarte und den beigefügten Bedingungen. Die Quellaudiodaten von Granary v2 müssen nach den jeweiligen Originallizenzen der Korpora separat heruntergeladen werden; das Manifest selbst enthält diese Audiorechte nicht. Alle Genauigkeits- und Fehlerraten stammen aus der Wiedergabe von Ergebnissen Dritter im Blog des Anbieters sowie aus anbietereigenen Fallstudien; Ranglisten ändern sich mit der Zeit, und die medizinische Fallstudie deckt nur eine Sprache und einen Bereich ab. Auch ein Rezept für synthetische Daten garantiert nicht die Übertragbarkeit auf andere Branchen. Audio-Fragebeantwortung nur auf Englisch trainiert, Übersetzung nur für Sprachpaare mit Englisch, kein Streaming: Das sind harte Einschränkungen, die sich nicht durch Parameteranpassung lösen lassen. Klarzustellen ist: Diese Version von Nemotron 3.5 Transcribe ist derzeit nicht im KimiSeek-Modellkatalog aufgeführt; die im Blog genannten Downloads bei Hugging Face und ModelScope sowie die gehosteten Endpunkte Dritter beziehen sich auf die Verfügbarkeit beim Anbieter und seinen Partnern. Vor der Integration sind die tatsächlichen Seiten und Bedingungen maßgeblich.

Abbildungen aus dem Originalbericht

Abbildung aus dem Originalbericht 1 — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Abbildung aus dem Originalbericht 1Originalbericht ↗
Abbildung aus dem Originalbericht 2 — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Abbildung aus dem Originalbericht 2Originalbericht ↗
Abbildung aus dem Originalbericht 3 — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Abbildung aus dem Originalbericht 3Originalbericht ↗
Abbildung aus dem Originalbericht 4 — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Abbildung aus dem Originalbericht 4Originalbericht ↗
Abbildung aus dem Originalbericht 5 — NVIDIA veröffentlicht offene Gewichte für Nemotron 3.5 Transcribe: Transkription, Sprecherzuordnung und Übersetzung in einem Checkpoint
Abbildung aus dem Originalbericht 5Originalbericht ↗

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

NVIDIA Nemotron 3.5 Transcribe 与 Granary v2:可提示、可适配的智能多语言转写

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.