NVIDIA publica los pesos abiertos de Nemotron 3.5 Transcribe: transcripción, diarización y traducción en un único checkpoint
Según el blog de NVIDIA del 28 de octubre de 2026, Nemotron 3.5 Transcribe se publicó con pesos abiertos: un único checkpoint cubre transcripción en 40 idiomas, atribución de hablante en 13 idiomas y traducción bidireccional con el inglés en 31 idiomas; además, se publican el pipeline de datos Granary v2 y la receta de ajuste fino.

Qué ha cambiado
Según el blog que NVIDIA publicó en Hugging Face el 28 de octubre de 2026, la empresa lanzó Nemotron 3.5 Transcribe en forma de pesos abiertos, con el identificador de checkpoint NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, ya listado en Hugging Face y ModelScope. Reúne transcripción, atribución de hablante, traducción y preguntas y respuestas sobre audio en un mismo checkpoint: puede transcribir 40 idiomas, traducir de forma bidireccional entre 31 de esos idiomas y el inglés y etiquetar hablantes en 13 idiomas; una grabación individual de hasta una hora, hasta ocho hablantes y marcas de tiempo a nivel de palabra. La arquitectura es un codificador de voz más un modelo de lenguaje de mezcla de expertos con arquitectura híbrida Mamba–Transformer, con 30B de parámetros totales y unos 4B activos por token. El emisor también publicó el manifiesto de datos Granary v2 y el pipeline de curación de NeMo Curator, así como la receta de ajuste fino de NeMo Speech. El blog afirma que el modelo ocupa el primer puesto en la categoría de pesos abiertos en inglés del Open ASR Leaderboard de Hugging Face con un WER medio de 5,33%; en el promedio multilingüe de siete idiomas, 4,62%, y en audio largo, 10,98%; en AA-WER de Artificial Analysis, 2,8% y primer puesto compartido con otro modelo de pesos abiertos, con unos 4B de parámetros activos frente a los 24B de ese modelo; en el ranking de atribución de hablante en 21 idiomas de David AI, primer puesto con 18,26% DER, ligeramente mejor que Nemotron 3 Diarization de la propia NVIDIA (18,38%); y en la comparación de 14 sistemas de VoiceArena, el cpWER más bajo, 32,4%. Todas estas cifras son la reproducción que hace el blog del emisor de resultados de rankings de terceros; la metodología de los rankings y el momento de la instantánea deben verificarse por cuenta propia.
Impacto para desarrolladores
El efecto más directo sobre la integración es que un flujo que antes requería un modelo de reconocimiento de voz más un modelo de separación de hablantes y luego unirlos puede reducirse a un checkpoint más una instrucción en lenguaje natural. El mecanismo que describe el blog es que las pistas de hablante de Sortformer entran junto con las características acústicas en el modelo de lenguaje, que etiqueta los turnos de habla directamente durante la generación en lugar de asignar el hablante a las palabras una vez terminada la transcripción; para el habla superpuesta y la alineación temporal en reuniones multihablante, esto es un cambio estructural, no solo un reconocedor más potente. Pero los límites de capacidad son igual de claros: la traducción solo cubre 31 idiomas con el inglés y no ofrece pares arbitrarios entre idiomas; según el blog, las preguntas y respuestas sobre audio se entrenaron solo en inglés; el modelo está orientado a audio grabado y no hace streaming en tiempo real. En despliegue, el blog afirma que puede ejecutarse en una sola GPU NVIDIA, desde Jetson AGX Thor y DGX Spark hasta tarjetas de centro de datos Blackwell; ofrece una vía de servicio con vLLM y una vía de ejecución local con NeMo-Speech.cpp, además de endpoints gestionados de Baseten, DeepInfra y Simplismart. El rendimiento que da el emisor se midió en una sola RTX PRO 6000 Blackwell Server Edition, con precisión NVFP4, fragmentos de 30 segundos y alta concurrencia: 100 horas de audio procesadas en tres minutos. Esas condiciones difieren mucho de cargas reales con grabaciones largas, baja concurrencia o precisión distinta de NVFP4. La relevancia de Granary v2 es que extiende el control mediante instrucciones hasta el entrenamiento: el manifiesto público cubre 48 idiomas, 16 corpus de origen y 463.062 horas, y ofrece tres formas de transcripción: tn_raw, itn_raw e itn_clean; el blog aclara que estas cifras describen la publicación del conjunto de datos, no la mezcla completa de entrenamiento de Transcribe ni sus pesos de muestreo.
Integración y evaluación
Lo siguiente son valoraciones y recomendaciones basadas en la fuente, no hechos verificados. Primero, decidir si se sustituye la cascada actual de «reconocimiento más separación» por un solo checkpoint: la sustitución es viable si la carga se compone principalmente de audio grabado, cada segmento dura como máximo una hora, hay como máximo ocho hablantes y los idiomas objetivo están dentro de la cobertura; si el producto necesita subtítulos en tiempo real o transcripción en streaming, según el propio blog este modelo no encaja, por lo que conviene descartarlo en vez de sortearlo con ingeniería. El criterio de evaluación es calcular cpWER y DER al mismo tiempo sobre grabaciones de reuniones reservadas propias y comparar con la cascada en producción con la misma tasa de eliminación; VoiceArena reporta que su proporción de palabras eliminadas es del 8,32%, frente a una mediana de comparación de alrededor del 31%, y esa diferencia en la tasa de eliminación afecta de forma notable la calidad posterior de resumen y recuperación. Segundo, primero instrucciones y después ajuste fino: el caso médico citado por la fuente muestra que indicar el idioma y el sistema de escritura en la instrucción redujo el WER de todo el benchmark del 30,8% al 23,8%, y el ajuste fino lo bajó después al 11,8%; en el conjunto reservado dividido por hablante, pasó del 22,44% al 12,17%, una reducción relativa del 45,8%. Por tanto, el umbral ejecutable es: establecer primero una línea base con instrucciones y solo iniciar el ajuste fino cuando los errores en entidades del dominio sigan siendo altos en el conjunto de hablantes reservado; la condición es conservar al menos 100 fragmentos reales anotados para seleccionar el checkpoint y dividir por hablante, no de forma aleatoria. El criterio de evaluación es revisar a la vez el WER del conjunto reservado, el WER de palabras clave y el WER semántico, además de un conjunto de regresión de voz general; la propia fuente informa que LibriSpeech test-clean subió ligeramente del 1,54% al 1,69%, así que la regresión de capacidades generales debe confirmarse con corpus propios y no darse por supuesta. Tercero, autohospedaje o endpoints gestionados: depende del volumen de audio y de los requisitos de residencia de datos; el criterio de evaluación debería ser medir el tiempo de GPU consumido por hora de audio con la distribución propia de duraciones, en lugar de citar la cifra del emisor con fragmentos de 30 segundos y alta concurrencia; cuando la duración se acerca a una hora, la presión de prefill y de memoria de GPU será completamente distinta.
Límites y cuestiones pendientes
El texto del blog solo califica el modelo como de pesos abiertos y no ofrece en el cuerpo los términos de la licencia del modelo; que los pesos se puedan descargar no equivale a obtener una licencia de código abierto, y los derechos de uso comercial y redistribución deben consultarse en la tarjeta del modelo y en los términos adjuntos. El audio de origen de Granary v2 debe descargarse por separado según la licencia original de cada corpus; el manifiesto no incluye esos derechos sobre el audio. Todas las cifras de precisión y error proceden de la reproducción que hace el blog del emisor de rankings de terceros y de casos creados por el propio fabricante; los rankings cambian con el tiempo, el caso médico solo cubre un idioma y un dominio, y la receta de datos sintéticos tampoco garantiza su transferencia a otros sectores. Que las preguntas y respuestas sobre audio se entrenen solo en inglés, que la traducción se limite a pares con inglés y que no haya streaming son restricciones duras, no algo que se resuelva ajustando parámetros. Cabe aclarar que esta versión de Nemotron 3.5 Transcribe no figura actualmente en el catálogo de modelos de KimiSeek; las descargas en Hugging Face y ModelScope y los endpoints gestionados de terceros que menciona el blog se refieren a la disponibilidad del fabricante y sus socios, y antes de integrarlo deben verificarse las páginas y los términos reales.
Ilustraciones de la noticia original




