NVIDIA libera pesos abertos do Nemotron 3.5 Transcribe: transcrição, atribuição de falantes e tradução em um único checkpoint
Segundo um blog da NVIDIA de 28 de outubro de 2026, o Nemotron 3.5 Transcribe foi lançado com pesos abertos: um único checkpoint cobre transcrição em 40 idiomas, atribuição de falantes em 13 idiomas e tradução bidirecional entre 31 idiomas e o inglês, além de tornar públicos o pipeline de dados Granary v2 e a receita de ajuste fino.

O que mudou
Segundo o blog que a NVIDIA publicou no Hugging Face em 28 de outubro de 2026, a empresa lançou o Nemotron 3.5 Transcribe com pesos abertos, sob o identificador de checkpoint NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, disponível no Hugging Face e no ModelScope. O modelo reúne transcrição, atribuição de falantes, tradução e perguntas e respostas sobre áudio em um mesmo checkpoint: transcreve 40 idiomas, traduz entre 31 deles e o inglês, e identifica falantes em 13 idiomas; cada gravação pode ter até uma hora, com até oito falantes marcados e timestamps em nível de palavra. A arquitetura combina um codificador de fala com um modelo de linguagem de mistura de especialistas híbrido Mamba–Transformer, com 30B de parâmetros totais e cerca de 4B ativados por token. A NVIDIA também publicou o manifesto de dados Granary v2, o pipeline de curadoria NeMo Curator e a receita de ajuste fino do NeMo Speech. O blog afirma que o modelo lidera a categoria de pesos abertos em inglês do ranking Open ASR do Hugging Face, com WER médio de 5,33%; tem média de 4,62% em sete idiomas e 10,98% em áudio longo; no AA-WER do Artificial Analysis, divide o primeiro lugar, com 2,8%, com outro modelo de pesos abertos, com cerca de 4B parâmetros ativados contra 24B do outro modelo; no ranking de atribuição de falantes em 21 idiomas do David AI, lidera com DER de 18,26%, ligeiramente melhor que o Nemotron 3 Diarization da própria NVIDIA (18,38%); e, na comparação de 14 sistemas do VoiceArena, obtém o menor cpWER, de 32,4%. Esses números são relatos do blog da NVIDIA sobre resultados de rankings de terceiros; a metodologia dos rankings e o momento do snapshot precisam ser verificados.
Impacto para desenvolvedores
O efeito mais direto sobre a integração é que um fluxo que antes exigia um modelo de reconhecimento de fala e um modelo de separação de falantes, combinados, pode ser consolidado em um único checkpoint e um prompt em linguagem natural. O mecanismo descrito no blog é que as pistas de falante do Sortformer entram no modelo de linguagem junto com as características acústicas, e os turnos são marcados durante a geração, em vez de se atribuir o falante às palavras depois da transcrição — uma mudança estrutural para o alinhamento temporal em fala sobreposta e reuniões com várias pessoas, não apenas a troca por um reconhecedor mais forte. Os limites de capacidade, porém, são claros: a tradução cobre apenas entre os 31 idiomas e o inglês, não qualquer par de idiomas; o recurso de perguntas e respostas sobre áudio, segundo o blog, foi treinado somente em inglês; e o modelo é voltado a áudio gravado, sem streaming em tempo real. Na implantação, o blog afirma que o modelo roda em uma única GPU NVIDIA, do Jetson AGX Thor e do DGX Spark a placas de datacenter Blackwell, com caminho de serviço via vLLM e execução local via NeMo-Speech.cpp, além de endpoints gerenciados da Baseten, DeepInfra e Simplismart; a vazão informada foi medida em uma única RTX PRO 6000 Blackwell Server Edition, com precisão NVFP4, clipes de 30 segundos e alta concorrência, processando 100 horas de áudio em três minutos — condição muito diferente de gravações longas, baixa concorrência ou precisão que não seja NVFP4. O significado do Granary v2 é estender o controle por prompt ao treinamento: o manifesto público cobre 48 idiomas, 16 corpora de origem e 463.062 horas, e oferece três formas de transcrição, tn_raw, itn_raw e itn_clean; o blog deixa explícito que esses números descrevem a publicação do conjunto de dados, não a mistura completa de treinamento ou os pesos de amostragem do Transcribe.
Integração e avaliação
O que segue são avaliações e recomendações baseadas na fonte, não fatos verificados. Primeiro, decida se vale substituir o atual encadeamento de reconhecimento e separação por um único checkpoint: a substituição só se aplica se a carga for majoritariamente de áudio gravado, com trechos de até uma hora, com no máximo oito falantes e idiomas-alvo dentro da cobertura; se o produto precisar de legendas em tempo real ou transcrição em streaming, o modelo, pela própria descrição do blog, não serve, e deve ser descartado em vez de contornado por engenharia. O critério de avaliação é calcular cpWER e DER nas suas próprias gravações de reunião de um conjunto separado para avaliação e comparar com o encadeamento em produção na mesma taxa de deleção — o VoiceArena relata 8,32% de palavras deletadas, contra cerca de 31% na mediana da comparação; a diferença na taxa de deleção afeta de forma significativa a qualidade de resumos e recuperação a jusante. Segundo, primeiro o prompt, depois o ajuste fino: o caso médico da fonte mostra que especificar idioma e sistema de escrita no prompt reduziu o WER do benchmark completo de 30,8% para 23,8%, e o ajuste fino levou a 11,8%; em um conjunto reservado separado por falante, foi de 22,44% para 12,17%, redução relativa de 45,8%. O critério prático é: estabeleça uma linha de base com prompt e só inicie o ajuste fino se os erros em entidades do domínio continuarem altos nos falantes reservados; para isso, preserve pelo menos 100 trechos reais anotados para seleção de checkpoint e faça a divisão por falante, não aleatória. O critério de avaliação é olhar ao mesmo tempo WER no conjunto reservado, WER de palavras-chave e WER semântico, além de um conjunto de regressão de fala geral — a própria fonte relata que o LibriSpeech test-clean subiu ligeiramente de 1,54% para 1,69%; a regressão de capacidade geral precisa ser confirmada com seu corpus, não presumida como zero. Terceiro, hospedagem própria ou endpoint gerenciado: depende do volume de áudio e dos requisitos de residência de dados; o critério de avaliação deve ser medir o tempo de GPU consumido por hora de áudio na sua distribuição de duração de clipes, em vez de citar o número de 30 segundos e alta concorrência do divulgador; com clipes próximos de uma hora, a pressão de prefill e de VRAM será completamente diferente.
Limites e pontos a confirmar
O texto do blog chama o modelo apenas de pesos abertos e não apresenta, no corpo, os termos da licença; baixar os pesos não equivale a obter uma licença de código aberto, e os direitos de uso comercial e redistribuição devem ser verificados na ficha do modelo e nos termos que o acompanham. O áudio de origem do Granary v2 precisa ser baixado separadamente sob a licença original de cada corpus; o manifesto não traz esses direitos sobre o áudio. Todos os números de acurácia e de erro vêm do blog da NVIDIA, que relata rankings de terceiros e casos criados pela própria fabricante; rankings mudam com o tempo, o caso médico cobre apenas um idioma e um domínio, e a receita com dados sintéticos não garante transferência para outros setores. O recurso de perguntas e respostas sobre áudio treinado apenas em inglês, a tradução limitada a pares com inglês e a ausência de streaming são restrições rígidas, não algo que se resolva com ajuste de parâmetros. É preciso deixar claro: esta versão do Nemotron 3.5 Transcribe não está atualmente listada no catálogo de modelos do KimiSeek; os downloads no Hugging Face e no ModelScope e os endpoints gerenciados de terceiros citados no blog referem-se à disponibilidade do fabricante e de seus parceiros, e as páginas e os termos reais devem ser consultados antes da integração.
Ilustrações da notícia original




