NVIDIA ouvre les poids de Nemotron 3.5 Transcribe : transcription, attribution des locuteurs et traduction dans un seul checkpoint
Selon un blog de NVIDIA du 28 octobre 2026, Nemotron 3.5 Transcribe est publié en poids ouverts : un seul checkpoint couvre la transcription en 40 langues, l'attribution des locuteurs en 13 langues et la traduction aller-retour avec l'anglais en 31 langues, avec publication du pipeline de données Granary v2 et de la recette de fine-tuning.

Ce qui change
Selon un blog publié par NVIDIA sur Hugging Face le 28 octobre 2026, l'entreprise propose en poids ouverts Nemotron 3.5 Transcribe, sous l'identifiant de checkpoint NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, déjà disponible sur Hugging Face et ModelScope. Il réunit transcription, attribution des locuteurs, traduction et questions-réponses audio dans un même checkpoint : transcription de 40 langues, traduction aller-retour avec l'anglais pour 31 d'entre elles, et étiquetage des locuteurs sur 13 langues ; un enregistrement peut durer jusqu'à une heure, compter jusqu'à huit locuteurs identifiés, avec horodatage au niveau du mot. L'architecture associe un encodeur vocal à un modèle de langue à mélange d'experts hybride Mamba–Transformer, pour 30B de paramètres au total et environ 4B activés par token. L'éditeur publie aussi la liste de données Granary v2 et le pipeline de curation NeMo Curator, ainsi que la recette de fine-tuning NeMo Speech. Le blog affirme que le modèle prend la première place du classement anglais à poids ouverts du leaderboard ASR de Hugging Face avec un WER moyen de 5,33 %, 4,62 % en moyenne sur sept langues multilingues et 10,98 % sur l'audio long ; sur l'AA-WER d'Artificial Analysis, il serait premier ex æquo à 2,8 % avec un autre modèle à poids ouverts, pour environ 4B de paramètres activés contre 24B chez ce dernier ; sur le classement d'attribution des locuteurs en 21 langues de David AI, il serait premier avec un DER de 18,26 %, légèrement devant le Nemotron 3 Diarization de NVIDIA lui-même (18,38 %) ; dans la comparaison de 14 systèmes de VoiceArena, il obtiendrait le meilleur cpWER, à 32,4 %. Ces chiffres sont tous des reprises, par le blog de l'éditeur, de résultats de classements tiers ; les méthodologies et les dates de capture doivent être vérifiées par le lecteur.
Conséquences pour les développeurs
L'effet le plus direct sur l'intégration est qu'un pipeline qui exigeait auparavant un modèle de reconnaissance vocale puis un modèle de séparation des locuteurs, à recoller ensuite, peut se réduire à un checkpoint et à une invite en langage naturel. Le mécanisme décrit par le blog fait entrer les indices de locuteurs Sortformer avec les caractéristiques acoustiques dans le modèle de langue, qui annote les tours de parole pendant la génération au lieu de rattacher les locuteurs aux mots après la transcription : pour les chevauchements de parole et l'alignement temporel de réunions à plusieurs, il s'agit d'un changement structurel, pas d'un simple changement de reconnaissance vocale plus performante. Les limites sont tout aussi nettes : la traduction ne couvre que les 31 langues vers et depuis l'anglais, sans paires arbitraires ; les questions-réponses audio ne sont entraînées, selon le blog, qu'en anglais ; le modèle vise l'audio enregistré et ne fait pas de streaming temps réel. Côté déploiement, le blog indique qu'il tourne sur un seul GPU NVIDIA, du Jetson AGX Thor au DGX Spark jusqu'aux cartes Blackwell pour centre de données, avec une voie de service vLLM et une voie d'exécution locale NeMo-Speech.cpp, plus des points de terminaison hébergés chez Baseten, DeepInfra et Simplismart ; le débit annoncé par l'éditeur a été mesuré sur un seul RTX PRO 6000 Blackwell Server Edition, en précision NVFP4, sur des segments de 30 secondes et à forte concurrence, pour traiter 100 heures d'audio en trois minutes — des conditions très éloignées d'une charge réelle faite d'enregistrements longs, à faible concurrence ou hors NVFP4. L'intérêt de Granary v2 est d'étendre le contrôle par invite jusqu'à l'entraînement : la liste publiée couvre 48 langues, 16 corpus sources et 463 062 heures, avec trois formes de transcription (tn_raw, itn_raw, itn_clean) ; le blog précise explicitement que ces chiffres décrivent la publication du jeu de données, et non le mélange d'entraînement complet ni les poids d'échantillonnage de Transcribe.
Intégration et évaluation
Les points suivants sont des jugements et des recommandations fondés sur la source, non des faits vérifiés. Premièrement, décider d'abord s'il faut remplacer la cascade actuelle « reconnaissance plus séparation » par un seul checkpoint : la substitution n'est possible que si la charge est surtout faite d'audio enregistré, de segments d'une heure maximum, de huit locuteurs maximum et de langues couvertes ; si le produit exige des sous-titres ou de la transcription en flux, ce modèle, de l'aveu du blog, ne convient pas et doit être écarté plutôt que contourné par de l'ingénierie. Le critère d'évaluation consiste à calculer à la fois le cpWER et le DER sur ses propres enregistrements de réunion mis de côté, et à comparer avec la cascade en production à taux de suppression égal : VoiceArena rapporte 8,32 % de mots supprimés pour ce modèle, contre environ 31 % pour la médiane de la comparaison, et cet écart de suppression pèse fortement sur la qualité du résumé et de la recherche en aval. Deuxièmement, l'invite d'abord, le fine-tuning ensuite : le cas médical cité par la source montre que préciser la langue et le système d'écriture dans l'invite fait passer le WER sur l'ensemble du benchmark de 30,8 % à 23,8 %, puis à 11,8 % après fine-tuning ; sur un jeu de validation découpé par locuteur, on passe de 22,44 % à 12,17 %, soit une baisse relative de 45,8 %. Le seuil opérationnel est donc : établir d'abord une référence par invite, et ne lancer le fine-tuning que si les erreurs sur les entités du domaine restent élevées sur des locuteurs mis de côté, à condition de conserver au moins 100 segments réellement annotés pour choisir le checkpoint et de découper par locuteur plutôt qu'aléatoirement. Le critère d'évaluation est de regarder ensemble le WER de validation, le WER sur mots-clés et le WER sémantique, en ajoutant un jeu de régression de parole générale — la source rapporte elle-même une légère dégradation de LibriSpeech test-clean, de 1,54 % à 1,69 %, et tout recul de compétence générale doit être confirmé sur ses propres corpus, sans supposer qu'il est nul. Troisièmement, auto-hébergement ou point de terminaison hébergé : cela dépend du volume d'audio et des exigences de résidence des données ; le critère d'évaluation doit être le temps GPU consommé par heure d'audio mesuré sur sa propre distribution de durées, et non les chiffres de l'éditeur obtenus sur des segments de 30 secondes à forte concurrence ; à mesure que les segments approchent une heure, la pression du préremplissage et de la mémoire GPU change complètement.
Limites et points à confirmer
Le texte du blog qualifie seulement le modèle de « poids ouverts » et n'en donne pas les termes de licence dans le corps ; pouvoir télécharger les poids ne signifie pas obtenir une licence open source, et les droits d'usage commercial et de redistribution dépendent de la fiche du modèle et des conditions jointes. Les audios sources de Granary v2 doivent être téléchargés séparément selon la licence propre à chaque corpus ; la liste elle-même n'apporte aucun droit sur ces audios. Tous les chiffres de précision et de taux d'erreur proviennent de reprises par le blog de l'éditeur de classements tiers et de cas construits par l'entreprise ; les classements évoluent avec le temps, le cas médical ne couvre qu'une seule langue et un seul domaine, et une recette à données synthétiques ne garantit pas son transfert à d'autres secteurs. Les questions-réponses audio entraînées uniquement en anglais, la traduction limitée aux paires avec l'anglais et l'absence de streaming sont des contraintes dures, que le réglage ne résout pas. Il faut préciser que cette version, Nemotron 3.5 Transcribe, n'est pas actuellement listée dans le catalogue de modèles KimiSeek : le téléchargement sur Hugging Face et ModelScope et les points de terminaison hébergés tiers décrits par le blog renvoient à la disponibilité chez l'éditeur et ses partenaires, et il convient de se fier aux pages et conditions réelles avant toute intégration.
Illustrations de l’article original




