MSRA, VibeVoice-ASR-BitNet 코드·가중치 공개: 1.58GB, 노트북 단일 스레드 실시간 전사
마이크로소프트 리서치 아시아(MSRA)가 LLM 기반 음성 인식을 1.58GB로 압축했다. 보도에 따르면 소비자용 CPU 단일 스레드로 실시간 전사가 가능하고 WER 손실은 대부분 0.5%p 이내다. 코드와 가중치는 공개됐지만 라이선스 조항과 스트리밍 지원 여부는 원문에서 설명되지 않았다.
주요 변화
마이크로소프트 리서치 아시아(MSRA)는 2026년 11월 4일 기술 글에서 VibeVoice-ASR-BitNet을 제안하며, LLM 기반 음성 인식 모델을 4.62GB에서 1.58GB로 압축했고 소비자용 CPU에서 단일 스레드로 실시간 전사가 가능하다고 밝혔다. 코드와 모델은 모두 공개됐다. 글에 따르면 구조는 VAE tokenizer가 음향 인코더와 의미 인코더 두 개의 7단계 ConvNeXt로 구성되어 24kHz 파형을 3200배 다운샘플링해 7.5Hz 토큰 시퀀스로 압축한다. LM decoder는 28층 자기회귀 Transformer다. 저자들은 두 모듈의 병목이 서로 반대라고 진단했다. VAE는 활성값 메모리 읽기·쓰기에 막히며, 전체 활성 데이터량이 가중치의 16.4배다. 가장 얕은 단계의 가중치는 약 3만 개 파라미터인데 활성값은 12억 9천만 개 원소에 달해, 흔히 가중치만 양자화하는 W8A32로는 거의 속도가 오르지 않는다. LM 디코딩은 배치 크기 1에서 토큰을 하나 생성할 때마다 1.5B 가중치를 전부 다시 읽어야 해 병목이 전적으로 가중치 트래픽에 있다. 이에 따라 방안을 나눴다. VAE는 전방 경로 전체를 INT8(I8_S)로 통일했는데, INT4를 택하지 않은 이유로 저자들은 sub-byte 형식의 패킹·언패킹 필요, 주류 CPU에 4bit 네이티브 SIMD 명령어 부재, ConvNeXt가 INT4에서 정확도가 빠르게 떨어지는 점을 들었다. LM은 BitNet 삼진 가중치(I2_S, 값 -1·0·+1, 2bit 저장)를 쓰고 활성은 토큰 단위로 온라인 양자화해 INT8로 처리하며, 임베딩층과 출력 헤드는 약 15만 단어 어휘 매핑과 관련되어 6bit Q6_K로 유지했다. 용량은 VAE가 1.31GB에서 0.65GB로, LM이 3.32GB에서 0.92GB로 줄었다. 학습 측면에서는 먼저 GELU를 ReLU로 바꾸고 짧게 미세조정한 뒤 α-blending 점진적 양자화 인식 학습을 수행해 α를 0에서 1로 선형 상승시켰다. 저자들은 α=1로 고정하면 증류 손실이 3.3 부근에서 진동하며 수렴하지 않았지만, 점진적 버전은 0.91로 수렴했다고 밝혔다. 추론 측면은 연산자 융합과 SIMD 정수 명령어에 의존하며, I8_S와 I2_S가 같은 누산 파이프라인을 공유한다. 속도 면에서 20초 오디오를 단일 스레드로 처리할 때 FP16 버전은 AMD EPYC 7V13, Intel i7-13700, Apple M4 세 머신 모두 실시간에 미치지 못했다. 양자화 후에는 M4 노트북에서 RTF 0.67, i7-13700 데스크톱에서 0.86이었고, 다중 코어 저주파 서버가 오히려 가장 느렸다. 2스레드에서는 세 머신 모두 실시간 구간에 진입했고, 8스레드에서는 20초 오디오 처리에 4~6초가 걸렸다. whisper.cpp(Whisper large-v3-turbo, q4_k, 0.44GB), sherpa-onnx(Whisper large-v3, int8, 1.65GB), llama.cpp(Ultravox-1B, Q4_K_M, 2.03GB)와의 비교에서 같은 서버, 같은 30초 오디오, 1~8스레드 조건으로 VibeVoice-ASR-BitNet은 항상 whisper.cpp보다 2.1~2.5배 빨랐고 2스레드로 실시간이 가능했지만, whisper.cpp는 4스레드, 나머지 둘은 6스레드가 필요했다. 저자들은 Ultravox가 언어 모델은 양자화했지만 오디오 인코더는 전정밀로 유지해 추론 시간의 85~90%가 인코더에서 소모된다고도 지적했다. 정확도 면에서는 같은 평가 스크립트로 같은 체크포인트의 F16 버전과 양자화 버전을 비교해, 낭독 음성·강의·억양 있는 실제 녹음에서 WER 차이가 0.5%p 이내, LibriSpeech에서 0.06%p, 중국어 테스트셋에서 0.3%p였고, 실적 발표 전화회의 같은 긴 오디오에서는 양자화 버전이 오히려 0.85%p 좋았다.
개발자에게 미치는 영향
개발자에게 이 소식의 직접적 의미는 '또 하나의 ASR 모델'이 아니라 음성 인식의 배포 위치를 클라우드 GPU에서 단일 스레드 CPU로 옮겼다는 점이다. 오디오가 기기를 벗어나면 안 되는 상황(회의록, 의료·법무 전사, 오프라인 산업 제어)에서는 1.58GB 가중치와 단일 스레드 실시간이 네트워크와 그래픽카드 의존을 없앨 수 있다는 뜻이다. 비용에 민감한 서비스라면 GPU 카드 수가 아니라 채널 수 기준으로 확장할 수 있다. 다국어는 같은 가중치 안에 담겨 있으며, 보도에 따르면 같은 체크포인트가 프랑스어·이탈리아어·한국어 등도 인식해 언어별로 음향 모델을 따로 배포할 필요가 없다. 이는 다국어 업무의 파이프라인 구성 방식을 바꿀 수 있다. 다만 RTF 0.67은 실시간보다 약간 빠른 정도로 단일 스레드 여유가 1.5배 미만이며, 긴 오디오나 동시 요청, 포그라운드 작업과 CPU를 다투는 상황에서 여유는 빠르게 사라진다. 방법론에서 더 참고할 점은 '먼저 병목을 규명한 뒤 압축'이라는 접근이다. VAE 활성량이 가중치의 16.4배라는 사실은 가중치만 양자화하는 다수의 온디바이스 최적화가 속도를 얻지 못하는 이유를 설명하며, Ultravox 인코더가 양자화되지 않아 85~90% 시간을 차지하는 것은 같은 원리의 반대 사례다. 통합에는 현실적 제약이 두 가지 더 있다. RTF와 WER 모두 저자 자체 측정이고 테스트 오디오는 20초·30초 위주이며, 글은 스트리밍이나 마이크 실시간 입력 처리 방식을 설명하지 않아 실시간 자막 같은 시나리오에 바로 쓸 수 있다고 가정하면 안 된다. 온디바이스에서 아낀 연산력은 다른 용도로 쓰거나 클럭을 낮춰 전력을 절약할 수 있지만, 결론을 그대로 옮기지 말고 기기별 실측이 필요하다.
연동 및 평가 제안
다음은 보도를 바탕으로 한 판단과 제안이며 보도 자체의 결론이 아니다. 첫째, 온디바이스 배포 형태다. 보도에 따르면 FP16 버전은 세 머신 단일 스레드에서 실시간에 못 미쳤고, 양자화 후 M4 노트북 0.67, i7-13700 0.86이었다. 이 변화는 1.58GB 양자화 체크포인트를 CPU 전용 엔드포인트의 기본으로 두고 FP16은 GPU가 있거나 다중 스레드를 감수할 수 있는 경우로 남기는 근거가 된다. 전제는 단일 채널, 오디오가 기기를 벗어나지 않음, 약 1.5배 실시간 여유를 감수할 수 있음이다. 한 머신에서 여러 채널을 병렬 처리하려면 이 결론을 그대로 적용할 수 없는데, RTF가 채널 수에 따라 선형적으로 악화되기 때문이다. 평가 기준은 목표 기기에서 자체 오디오로 단일 스레드 RTF와 F16 대비 WER을 기록하되, 예컨대 단일 스레드 RTF 0.7 이하이면서 WER 저하 0.5%p 이내를 통과선으로 삼고 초과하면 다중 스레드나 클라우드로 되돌리는 것을 권한다. 둘째, 스레드 예산이다. 보도에 따르면 2스레드에서 세 머신 모두 실시간 구간에 진입했고 8스레드에서는 20초 오디오에 4~6초면 충분했지만, 온디바이스 CPU는 보통 전체 시스템에 써야 한다. 기본적으로 2스레드로 제한하고 여유를 두며, 오프라인 배치 처리나 포그라운드 경쟁이 없을 때만 스레드를 늘리는 것을 권한다. 발동 조건은 대화형 작업과 공존, 배터리 구동, 다른 서비스 동시 실행이다. 측정 지표는 종단 간 p95 지연, CPU 피크 사용률, 기기 클럭 저하 후 다시 측정한 RTF다. 셋째, 직접 모델을 압축하는 경우다. 보도에 따르면 VAE 활성 데이터량은 가중치의 16.4배이고 W8A32는 실측상 거의 속도가 오르지 않으며, Ultravox는 인코더가 전정밀로 유지되어 85~90% 시간이 인코더에서 소모됐다. 일괄적으로 비트를 낮추기보다 모듈별 시간 소모를 먼저 규명한 뒤 양자화 형식과 세분화를 정하는 것을 권한다. 전제는 추론 스택을 보유하고 커널을 수정할 수 있다는 점이며, 기존 인터페이스만 호출하거나 공개 체크포인트를 그대로 쓰는 팀에는 해당하지 않는다. 측정 지표는 인코더와 디코더 각각의 시간 비중, 그리고 단일 모듈 양자화 후 종단 간 RTF의 실제 변화 폭이다.
제한과 확인할 사항
보도는 마이크로소프트 리서치 아시아(MSRA) 자체 기술 글에서 나왔고 RTF와 WER 모두 저자 자체 측정이며, F16과 양자화 버전을 같은 평가 스크립트, 같은 체크포인트로 비교했을 뿐 제3자 재현은 확인되지 않았다. 세 머신은 AMD EPYC 7V13, Intel i7-13700, Apple M4만을 다루고 테스트 오디오는 20초·30초 위주이며, 긴 오디오·동시성·스트리밍 입력의 동작은 글에서 다뤄지지 않았다. 비교는 CPU 추론 엔진만 대상으로 했고 GPU나 NPU 참조는 없다. 글은 코드와 모델이 모두 공개됐다고 하지만 라이선스 조건을 제시하지 않았으며, 가중치를 내려받을 수 있다는 것이 상업적 이용이 가능하다는 뜻은 아니므로 도입 전 저장소와 모델 카드의 허용 범위를 반드시 확인해야 한다. VibeVoice-ASR-BitNet은 현재 KimiSeek 모델 카탈로그에 없고 대응하는 KimiSeek 인터페이스나 가격도 확인할 수 없으며, 보도에서 말하는 사용 가능성은 배포 주체의 GitHub과 Hugging Face 배포를 가리킨다. 상업적 이용이나 호스팅 호출이 필요하면 배포 주체의 라이선스와 페이지를 기준으로 삼아야 한다. 또한 다국어는 보도가 설명한 테스트 범위에서만 언급됐고 언어별 WER 세부 수치는 제시되지 않아, 목록에 없는 언어를 다루는 업무는 자체 평가가 필요하다.