← 전체 모델 소식

NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에

NVIDIA가 2026년 10월 28일 블로그를 통해 Nemotron 3.5 Transcribe를 공개 가중치로 발표했다. 단일 체크포인트가 40개 언어 전사, 13개 언어 화자 분리, 31개 언어의 영어 양방향 번역을 처리하며, Granary v2 데이터 파이프라인과 파인튜닝 레시피도 함께 공개됐다.

게시 수정
원문 보도의 표지 이미지 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 보도의 표지 이미지원문 보도 ↗

주요 변화

2026년 10월 28일 Hugging Face에 게시된 NVIDIA 블로그에 따르면, 이 회사는 Nemotron 3.5 Transcribe를 공개 가중치 형태로 선보였다. 체크포인트 식별자는 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B이며 Hugging Face와 ModelScope에 올라와 있다. 이 모델은 전사, 화자 분리, 번역, 오디오 질의응답을 하나의 체크포인트에 담았다. 40개 언어를 전사하고, 그중 31개 언어와 영어 사이를 양방향 번역하며, 13개 언어에서 화자를 표시한다. 단일 녹음은 최대 1시간, 화자는 최대 8명까지 표시하고 단어 수준 타임스탬프를 지원한다. 구조는 음성 인코더에 하이브리드 Mamba–Transformer 혼합 전문가 언어 모델을 결합한 형태로, 전체 파라미터는 30B, 토큰당 약 4B가 활성화된다. 배포 측은 Granary v2 데이터 목록과 NeMo Curator 정리 파이프라인, NeMo Speech 파인튜닝 레시피도 함께 내놓았다. 블로그는 이 모델이 Hugging Face 개방형 ASR 리더보드 영어 공개 가중치 부문에서 평균 WER 5.33%로 1위, 다국어 7개 언어 평균 4.62%, 장문 오디오 10.98%를 기록했다고 밝힌다. Artificial Analysis의 AA-WER에서는 2.8%로 다른 공개 가중치 모델과 공동 1위이며, 약 4B 활성 파라미터로 상대 모델의 24B에 대응한다고 한다. David AI의 21개 언어 화자 분리 순위에서는 18.26% DER로 1위를 차지해 NVIDIA 자체의 Nemotron 3 Diarization(18.38%)을 근소하게 앞섰고, VoiceArena의 14개 시스템 비교에서는 최저 cpWER 32.4%를 기록했다. 이 수치들은 모두 발표 측 블로그가 제3자 리더보드 결과를 옮긴 것이므로, 리더보드의 기준과 스냅샷 시점은 직접 확인해야 한다.

개발자에게 미치는 영향

접속 방식에 가장 직접적인 영향은 기존에 음성 인식 모델과 화자 분리 모델을 이어 붙여야 했던 흐름을 하나의 체크포인트와 자연어 프롬프트 한 단락으로 모을 수 있다는 점이다. 블로그가 설명하는 방식은 Sortformer 화자 단서와 음향 특징이 함께 언어 모델로 들어가 생성 과정에서 발화 차례를 바로 표시하는 것으로, 전사가 끝난 뒤 단어에 화자를 다시 붙이는 방식이 아니다. 이는 겹치는 발화와 다자 회의의 시간축 정렬에서 구조적인 변화이며, 단순히 더 강한 인식기로 바꾸는 것과는 다르다. 다만 능력의 경계도 분명하다. 번역은 31개 언어와 영어 사이만 지원하고 임의의 언어 쌍은 제공하지 않는다. 오디오 질의응답은 블로그에 따르면 영어로만 학습됐고, 모델은 녹음된 오디오를 대상으로 하며 실시간 스트리밍은 하지 않는다. 배포 측면에서 블로그는 단일 NVIDIA GPU에서 실행할 수 있다고 하며, Jetson AGX Thor와 DGX Spark부터 Blackwell 데이터센터 카드까지 vLLM 서빙 경로와 NeMo-Speech.cpp 로컬 실행 경로를 제공하고, Baseten, DeepInfra, Simplismart의 관리형 엔드포인트도 있다고 밝힌다. 발표 측이 제시한 처리량은 단일 RTX PRO 6000 Blackwell Server Edition에서 NVFP4 정밀도, 30초 구간, 높은 동시성으로 3분에 100시간 오디오를 처리한 수치인데, 이 조건은 긴 녹음, 낮은 동시성, NVFP4가 아닌 정밀도의 실제 부하와 크게 다르다. Granary v2의 의미는 프롬프트 수준 제어를 학습까지 확장한다는 데 있다. 공개 목록은 48개 언어, 16개 원천 코퍼스, 463,062시간을 포괄하고 tn_raw, itn_raw, itn_clean 세 가지 전사 형태를 제공한다. 블로그는 이 수치들이 데이터셋 공개를 설명하는 것이지 Transcribe의 전체 학습 혼합이나 샘플링 가중치를 뜻하는 것은 아니라고 명시한다.

연동 및 평가 제안

다음은 출처에 근거한 판단과 제안이며 검증된 사실이 아니다. 첫째, 기존의 '인식 + 분리' 캐스케이드를 하나의 체크포인트로 바꿀지 먼저 정해야 한다. 교체가 가능한 전제는 부하가 녹음 오디오 중심이고, 단일 구간이 1시간을 넘지 않으며, 화자가 8명 이하이고, 대상 언어가 지원 범위 안에 있다는 것이다. 실시간 자막이나 스트리밍 전사가 필요한 제품이라면 이 모델은 블로그 자체 설명으로도 맞지 않으므로 엔지니어링으로 우회하지 말고 바로 제외해야 한다. 평가 기준은 자체 보류 회의 녹음에서 cpWER과 DER을 동시에 계산하고, 같은 삭제율 조건에서 현행 캐스케이드와 비교하는 것이다. VoiceArena는 이 모델의 삭제 단어 비율을 8.32%로 보고했고 비교 대상 중앙값은 약 31%였는데, 삭제율 차이는 하위 요약과 검색 품질에 크게 영향을 준다. 둘째, 프롬프트를 먼저 하고 파인튜닝은 나중에 하라. 출처의 의료 사례에 따르면 프롬프트에 언어와 문자 체계를 명시하는 것만으로 전체 벤치마크 WER이 30.8%에서 23.8%로 낮아졌고, 파인튜닝 후에는 11.8%까지 내려갔다. 화자별로 나눈 보류 세트에서는 22.44%에서 12.17%로 45.8% 상대 감소를 보였다. 따라서 실행 가능한 기준은 프롬프트 기준선을 먼저 세우고, 도메인 개체 오류가 보류 화자에서 여전히 높을 때만 파인튜닝을 시작하는 것이다. 전제는 체크포인트 선택용으로 실제 라벨링된 최소 100개 구간을 확보하고 무작위가 아닌 화자 기준으로 분할하는 것이다. 평가 기준은 보류 WER, 키워드 WER, 의미 WER을 함께 보고 여기에 일반 음성 회귀 세트를 더하는 것이다. 출처 스스로도 LibriSpeech test-clean이 1.54%에서 1.69%로 소폭 올랐다고 보고했으므로, 일반 능력의 후퇴는 자체 코퍼스로 확인해야 하며 0이라고 가정할 수 없다. 셋째, 자체 호스팅과 관리형 엔드포인트 중 무엇을 택할지는 오디오 양과 데이터 상주 요구에 달려 있다. 평가 기준은 발표 측의 30초 구간 고동시성 수치를 인용하는 대신 자체 구간 길이 분포에서 오디오 1시간당 소모되는 GPU 시간을 측정하는 것으로 바꿔야 한다. 구간이 1시간에 가까워지면 프리필과 VRAM 압박이 전혀 달라진다.

제한과 확인할 사항

블로그 본문은 이 모델을 공개 가중치라고만 표현하고 모델 라이선스 조항은 제시하지 않는다. 가중치를 내려받을 수 있다는 것이 오픈소스 라이선스를 얻었다는 뜻은 아니며, 상업적 이용과 재배포 권한은 모델 카드와 함께 제공되는 조항으로 확인해야 한다. Granary v2의 원본 오디오는 각 코퍼스의 원래 라이선스에 따라 따로 내려받아야 하며, 목록 자체에 그 오디오 권리가 포함되지는 않는다. 모든 정확도와 오류율 수치는 발표 측 블로그가 제3자 리더보드 결과와 자체 사례를 옮긴 것이고, 리더보드는 시간이 지나면 달라진다. 의료 사례는 단일 언어와 단일 도메인만 다루며, 합성 데이터 레시피가 다른 산업으로 전이된다고 보장할 수 없다. 오디오 질의응답이 영어로만 학습됐고, 번역이 영어 쌍으로 제한되며, 스트리밍을 지원하지 않는다는 점은 모두 하이퍼파라미터 조정으로 풀 수 없는 제약이다. 분명히 해둘 점은 Nemotron 3.5 Transcribe 이 버전이 현재 KimiSeek 모델 카탈로그에 등재되어 있지 않다는 것이다. 블로그가 언급한 Hugging Face, ModelScope 다운로드와 제3자 관리형 엔드포인트는 모두 제조사와 협력사의 가용성을 가리키므로, 접속 전에 실제 페이지와 조항을 확인해야 한다.

원문 보도의 이미지

원문 삽화 1 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 삽화 1원문 보도 ↗
원문 삽화 2 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 삽화 2원문 보도 ↗
원문 삽화 3 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 삽화 3원문 보도 ↗
원문 삽화 4 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 삽화 4원문 보도 ↗
원문 삽화 5 — NVIDIA, Nemotron 3.5 Transcribe 가중치 공개…전사·화자 분리·번역을 한 체크포인트에
원문 삽화 5원문 보도 ↗

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

NVIDIA Nemotron 3.5 Transcribe 与 Granary v2:可提示、可适配的智能多语言转写

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.