네테이즈 유다오, R2T2와 T3PO 오픈소스 공개: 진정한 스트리밍 인식과 동시통역 모델이 허깅페이스 트렌딩 1위
신즈위안 보도에 따르면, 네테이즈 유다오가 진정한 스트리밍 음성 인식 모델 R2T2와 스트리밍 번역 모델 T3PO를 오픈소스로 공개했으며, 공개 약 5일 후 허깅페이스 음성 인식 및 번역 트렌딩 1위에 올랐다. 보도는 R2T2가 Commit/Wait 메커니즘을 채택해 이미 출력된 텍스트를 다시 고쳐 쓰지 않는다고 전하며, Whisper 및 상용 API와의 비교 수치를 제시했다.
주요 변화
신즈위안 보도에 따르면, 네테이즈 유다오가 진정한 스트리밍 음성 인식 모델 R2T2와 스트리밍 번역 모델 T3PO를 오픈소스로 공개했으며, 공개 약 5일 후 둘 다 허깅페이스 음성 인식 및 번역 트렌딩 1위에 올랐다. 보도는 R2T2의 전체 이름이 Real Real-Time Transcription이며, 핵심 메커니즘은 약 80밀리초 오디오 조각마다 Commit 또는 Wait 판단을 한 번 내리고, 이미 커밋된 텍스트는 수정하지 않는 것이라고 전했다. 동일 기반 모델이 이 학습을 하지 않고 160밀리초로 들으면서 글자를 출력할 때 중국어 오류율은 39.72%였고, 자사의 '최장 안정 프리픽스' 방법으로 학습한 후 3.48%로 낮아졌다. 보도는 또한 160밀리초 구성에서 R2T2의 중국어 오류율이 6.42%, 엔비디아 Nemotron 3.5가 20.64%, Mistral Voxtral Mini가 29.59%라고 전했다. 영어 테스트에서는 두 주요 상용 API와 비교해 R2T2의 오류율이 6.13%, 지연이 0.55초인 반면, 후자는 글자를 되돌려 수정할 수 있고 오류율 6.20%, 지연 0.95초부터라고 전했다. T3PO의 전체 이름은 simulTaneous Translation via pareTo Policy Optimization이며, 보도는 모델이 스스로 '문맥이 충분하면 번역하고, 부족하면 기다린다'고 결정하게 한다고 전했다. 적용 측면에서 보도는 개발자 davidxifeng이 R2T2 핵심 메커니즘을 C++로 재작성해 audio.cpp 메인 브랜치에 병합했고, 애플 M3에서 8배 실시간 속도를 달성했다고 전했다. 커뮤니티에서는 Core ML 적용, 오프라인 자막 도구, TypeWhisper 플러그인, 그리고 Q2부터 Q8까지의 GGUF 양자화 버전도 등장했으며, 허깅페이스는 ZeroGPU 온라인 데모를 제공한다.
개발자에게 미치는 영향
음성 진입점을 가진 개발자에게 이 변화의 핵심은 순위가 아니라 '출력을 되돌려 수정할 수 없다'는 제약적 의미론이다. 전통적인 유사 스트리밍 인식은 주기적으로 이미 출력된 텍스트를 재작성하므로, 하위에서 인식 결과를 송금, 주문, 내비게이션 등 도구 호출에 직접 전달하면 철회된 중간 결과를 바탕으로 잘못된 작업을 실행할 수 있다. R2T2는 '커밋된 즉시 최종본'을 모델 동작으로 삼아, 증분 전사가 별도의 '안정 대기' 버퍼 없이도 어시스턴트 로직을 직접 구동할 수 있게 한다. T3PO는 증분 인식 결과를 즉시 번역해, 체인을 '말하기—인식—번역'의 직렬에서 말하면서 동시에 번역하는 방식으로 바꾼다. 다만 위 오류율, 지연 및 비교 결론은 모두 보도가 인용한 테스트에서 나온 것이며, 테스트 세트, 평가 스크립트, 하드웨어 구성이 보도에서 완전히 공개되지 않아 독립적 재현 결과로 볼 수 없다. 또 다른 실제 영향은 배포 형태다. 보도가 언급한 C++ 재작성과 GGUF 양자화는 인식 측이 파이썬과 고급 GPU에서 벗어나 엣지나 Mac에서 실행될 기회가 있음을 의미하며, 이는 프라이버시에 민감하거나 오프라인인 시나리오에서 뚜렷이 다른 비용 구조다.
연동 및 평가 제안
다음은 보도에 기반한 평가 제안이며, 검증된 결론이 아니다. 첫 번째 결정: 음성 진입점의 증분 출력을 도구 호출에 직접 연결할지 여부. R2T2 같은 '한 번 놓으면 되돌릴 수 없는' 모델을 채택한다면, 조건은 최종본 오류를 되돌릴 수 없고 이후 교정 발화로만 보완할 수 있는 것을 비즈니스가 감수할 수 있는지다. 여전히 되돌릴 수 있는 유사 스트리밍 방식을 쓴다면 하위에 안정 창을 반드시 추가해야 한다. 평가 기준은 중간에 말을 바꾸는 지시(금액, 시간, 인명) 50~100건을 만들어, 최종 실행 파라미터의 정확률과 '최종 올바른 내용이 나타난 시점'부터 '하위 실행'까지의 지연을 측정하는 것으로 정할 수 있다. 두 번째 결정: 엣지 배포냐 서버 GPU냐. 시나리오가 단일 기기, 오프라인, 프라이버시 민감이라면 우선 양자화 버전이 대상 기기에서의 실시간 배속과 인식 품질을 검증할 수 있다. 조건은 그 양자화 버전이 대상 언어와 도메인 단어에서 사용 가능한 성능을 보이는 것이다. 평가 기준은 동일 테스트 세트에서 양자화 전후 오류율 차이와 실시간 배속이 상호작용 임계값을 충족하는지다. 세 번째 결정: T3PO를 인식 뒤에 연결해 동시통역을 할지 여부. 전제는 지연 예산이 문맥을 축적한 뒤 번역문을 내보내는 것을 허용하는 것이며, 평가 기준은 동시통역 시나리오에서 번역문과 인간 참조의 품질 비교, 그리고 말을 바꾼 문장에서 수용 가능한 보완 번역 행동이 나타나는지다. 또한 보도에 등장한 희귀어 지원은 사용자 정의 기술 어휘표에 의존하므로, 연결 전에 이 메커니즘이 자신의 API 또는 로컬 추론 경로에서 사용 가능한지 확인해야 한다.
제한과 확인할 사항
이 브리핑의 성능 수치, 지연, 순위는 모두 신즈위안 보도에서 나온 것으로 독립적으로 재현되지 않았다. 보도는 테스트 세트, 평가 스크립트, 언어 방향, 하드웨어 환경을 완전히 공개하지 않아 모델 간 비교 가능성에 의문이 있다. R2T2와 T3PO는 현재 KimiSeek의 실시간 모델 카탈로그에 없으며, 이 브리핑은 이들이 이 사이트에서 호출 가능하다는 것을 의미하지 않는다. 보도가 말한 오픈소스와 다운로드 채널은 유다오의 GitHub와 허깅페이스 저장소를 가리키며, 가중치 확보가 라이선스 조건이 명확하다는 것을 뜻하지 않으므로 상용화 전에 저장소 라이선스를 직접 확인해야 한다. 보도가 언급한 상용 API 비교는 상대 이름을 공개하지 않아 어떤 특정 업체도 판단할 수 없다. 또한 '8배 실시간 속도', '200밀리초 지연', '2B 파라미터' 같은 표현은 커뮤니티 개발자나 블로거의 인용에서 나온 것으로, 공식 벤치마크가 아닌 전언이다. 구버전을 계속 쓰는지 다른 변형이 있는지는 보도에서 설명하지 않았다.