← すべてのニュース

Microsoft Research AsiaがVibeVoice-ASR-BitNetのコードと重みを公開:1.58GB、ノートPCのシングルスレッドでリアルタイム文字起こし

Microsoft Research AsiaがLLMベースの音声認識を1.58GBまで圧縮し、コンシューマー向けCPUのシングルスレッドでリアルタイムと報じられている。WERの劣化は概ね0.5ポイント以内。コードと重みは公開済みだが、ライセンス条項とストリーミング対応は原文で触れられていない。

公開 更新

主な変更

Microsoft Research Asiaは2026年11月4日の技術記事でVibeVoice-ASR-BitNetを発表し、大規模言語モデルベースの音声認識モデルを4.62GBから1.58GBに圧縮し、コンシューマー向けCPUのシングルスレッドでリアルタイム文字起こしが可能と述べ、コードとモデルは公開済みとした。記事の構成は次の通り。VAEトークナイザーは音響エンコーダーと意味エンコーダーの2つの7段階ConvNeXtで構成され、24kHz波形を3200分の1にダウンサンプリングし、7.5Hzのトークン系列に圧縮する。LMデコーダーは28層の自己回帰Transformerである。著者らの診断では、2つのモジュールのボトルネックは逆である。VAEは活性値のメモリ読み書きで詰まり、全体の活性データ量は重みの16.4倍、最も浅い段では重みが約3万パラメータなのに対し活性値は12.9億要素に達するため、重みだけを量子化する一般的なW8A32ではほとんど高速化しない。LMのデコードはバッチサイズ1のとき、トークンを1つ生成するたびに1.5Bの重みを完全に読み直す必要があり、ボトルネックは完全に重みのトラフィックにある。そこで方式を分けた。VAEは順伝播経路全体をINT8(I8_S)に統一し、INT4を選ばない理由として、sub-byte形式はパックとアンパックが必要で、主要CPUに4bitのネイティブSIMD命令がなく、ConvNeXtはINT4で精度が急速に落ちることを挙げている。LMはBitNetの三値重み(I2_S、値は-1、0、+1、2bit格納)を採用し、活性はトークンごとにオンラインでINT8に量子化し、埋め込み層と出力ヘッドは約15万語の語彙マッピングに関わるため6bitのQ6_Kを維持する。サイズはVAEが1.31GBから0.65GB、LMが3.32GBから0.92GBに減った。学習側ではまず手書きGELUをReLUに置き換えて短時間ファインチューニングし、その後α-blendingによる漸進的量子化意識学習を行い、αを0から1へ線形に上げる。αを直接1に固定すると蒸留損失が3.3付近で振動して収束しないが、漸進版は0.91に収束したと著者は述べている。推論側は演算子融合とSIMD整数命令に依存し、I8_SとI2_Sは同じ累積パイプラインを共有する。速度面では、20秒の音声をシングルスレッドで処理する場合、FP16版はAMD EPYC 7V13、Intel i7-13700、Apple M4の3台すべてでリアルタイムに達しない。量子化後はM4ノートPCでRTF 0.67、i7-13700デスクトップで0.86となり、マルチコア低周波のサーバーが逆に最も遅い。2スレッドでは3台すべてがリアルタイム領域に入り、8スレッドでは20秒の音声処理に4〜6秒かかる。whisper.cpp(Whisper large-v3-turbo、q4_k、0.44GB)、sherpa-onnx(Whisper large-v3、int8、1.65GB)、llama.cpp(Ultravox-1B、Q4_K_M、2.03GB)との比較では、同じサーバー、同じ30秒の音声、1〜8スレッドの条件で、VibeVoice-ASR-BitNetは常にwhisper.cppより2.1〜2.5倍速く、2スレッドでリアルタイムに達するのに対し、whisper.cppは4スレッド、残り2つは6スレッドを必要とした。著者はまた、Ultravoxは言語モデルを量子化しているものの音声エンコーダーは全精度のままで、推論時間の85〜90%がエンコーダーに費やされると指摘している。精度面では、同じ評価スクリプトで同一チェックポイントのF16版と量子化版を比較し、朗読音声、講義、なまりのある実録音でWERの差は0.5ポイント以内、LibriSpeechで0.06ポイント、中国語テストセットで0.3ポイント、決算電話会議のような長い音声では量子化版の方が0.85ポイント良かった。

開発者への影響

このニュースの開発者にとっての直接的な意味は「また1つASRモデルが出た」ことではなく、音声認識の配置場所をクラウドGPUからシングルスレッドCPUへ移すことにある。音声を端末外に出したくない場面(会議記録、医療・法務の文字起こし、オフラインの産業制御)では、1.58GBの重みとシングルスレッドリアルタイムによってネットワークやGPUに依存せずに済む。コストに敏感なサービスでは、GPU枚数ではなくチャネル数でスケールできることを意味する。多言語は同一の重みに含まれており、同じチェックポイントでフランス語、イタリア語、韓国語なども認識できると報じられており、言語ごとに音響モデルを個別配備する必要がないため、多言語業務のパイプライン構成が変わる。ただしRTF 0.67はリアルタイムよりわずかに速いだけで、シングルスレッドの余裕は1.5倍未満であり、長い音声、同時リクエスト、前面タスクとのCPU競合で余裕はすぐに失われる。手法面で参考になるのは「まず原因を特定してから圧縮する」ことだ。VAEの活性量が重みの16.4倍という点は、重みだけを量子化する多くのエッジ最適化が速度を得られない理由を説明する。Ultravoxのエンコーダーが未量子化で85〜90%の時間を占めるのは、同じ理屈の反例である。統合面では現実的な制約が2つある。RTFとWERはいずれも著者自身の測定で、テスト音声は20秒と30秒が中心であり、記事はストリーミングやマイクからのリアルタイム入力の処理方法を説明していない。リアルタイム字幕のような場面ではそのまま使えると仮定すべきではない。エッジ側で節約した計算資源は他の用途に回すことも、周波数を下げて省電力化することもできるが、これは機種ごとに実測すべきで、結論をそのまま流用すべきではない。

導入と評価の提案

以下は報道に基づく判断と提案であり、報道自体の結論ではない。第一に、エッジ配備の形態。FP16版は3台すべてでシングルスレッドではリアルタイムに達しないと報じられ、量子化後はM4ノートPCで0.67、i7-13700で0.86となった。この変化は1.58GBの量子化チェックポイントをCPU専用エンドポイントの既定とし、FP16はGPUがある場合やマルチスレッドを許容できる場合に残すことを十分に支持する。前提はシングルチャネル、音声を端末外に出さない、約1.5倍のリアルタイム余裕を許容できることである。1台で複数チャネルを並行する場合、RTFはチャネル数に比例して悪化するため、この結論はそのまま移行できない。評価基準としては、対象機種で自社の音声を走らせ、シングルスレッドRTFとF16に対するWERを記録し、例えばシングルスレッドRTFが0.7以下かつWERの劣化が0.5ポイント以下を合格ラインとし、超えたらマルチスレッドかクラウドに戻すことを勧める。第二に、スレッド予算。2スレッドで3台すべてがリアルタイム領域に入り、8スレッドでは20秒の音声処理に4〜6秒しかかからないと報じられている一方、エッジCPUは通常システム全体のために確保する必要がある。既定では2スレッドに制限して余裕を残し、オフラインバッチ処理や前面の競合がない場合にのみより多くのスレッドを開放することを勧める。トリガー条件は対話型タスクとの共存、バッテリー駆動、他のサービスを同時に動かす必要がある場合である。測定可能な指標はエンドツーエンドのp95レイテンシ、CPUピーク使用率、およびデバイスが周波数を下げた後に再測定したRTFである。第三に、自らモデルを圧縮する場合。VAEの活性データ量は重みの16.4倍で、W8A32は実測でほとんど高速化せず、Ultravoxはエンコーダーが全精度のため85〜90%の時間がエンコーダーに費やされると報じられている。ビット数を一律に下げるのではなく、まずモジュールごとの時間配分を特定してから量子化形式と粒度を決めることを勧める。前提は推論スタックを把握しカーネルを変更できることであり、既存のAPIを呼ぶだけ、または公開チェックポイントをそのまま使うチームには当てはまらない。測定可能な指標はエンコーダーとデコーダーそれぞれの時間占有率、および単一モジュールの量子化後のエンドツーエンドRTFの実際の変化幅である。

制限と未確認事項

報道はMicrosoft Research Asia自身の技術記事に基づき、RTFとWERはいずれも著者自身の測定で、F16と量子化版は同じ評価スクリプト、同じチェックポイントで比較されており、第三者による再現は見られない。3台のマシンはAMD EPYC 7V13、Intel i7-13700、Apple M4のみをカバーし、テスト音声は20秒と30秒が中心で、長い音声、同時実行、ストリーミング入力の挙動は記事で説明されていない。比較はCPU推論エンジンのみを対象とし、GPUやNPUの参照はない。記事はコードとモデルが公開済みとするが、ライセンス条項は示していない。重みがダウンロードできることは商用利用できることを意味せず、採用前にリポジトリとモデルカードの許諾範囲を確認する必要がある。VibeVoice-ASR-BitNetは現在KimiSeekのモデルカタログになく、対応するKimiSeekのAPIや価格も確認できない。報道の言う可用性は公開元のGitHubとHugging Faceでの公開を指す。商用利用やホスティング呼び出しが必要な場合は公開元のライセンスとページに従うこと。また、多言語は報道が説明するテスト範囲で言及されているだけで、言語別のWER内訳は示されておらず、列挙範囲外の言語を扱う業務は自ら評価する必要がある。

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

VibeVoice-ASR-BitNet:让语音大模型在你的笔记本电脑上实时运行

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。