← Alle Modellneuigkeiten

Microsoft Research veröffentlicht VibeVoice-ASR-BitNet: 1,58 GB, Echtzeit-Transkription mit einem CPU-Thread auf dem Laptop

Microsoft Research hat ein LLM-basiertes Spracherkennungsmodell auf 1,58 GB komprimiert; laut Bericht läuft es auf Consumer-CPUs mit einem einzigen Thread in Echtzeit, der WER-Verlust liegt meist unter 0,5 Punkten. Code und Gewichte sind veröffentlicht, Lizenzbedingungen und Streaming-Fähigkeit werden im Text jedoch nicht genannt.

Veröffentlicht Aktualisiert

Was sich geändert hat

Microsoft Research stellt in einem technischen Artikel vom 4. November 2026 VibeVoice-ASR-BitNet vor und gibt an, ein auf einem großen Sprachmodell basierendes Spracherkennungsmodell von 4,62 GB auf 1,58 GB komprimiert zu haben; auf Consumer-CPUs sei mit einem einzigen Thread Echtzeit-Transkription möglich, Code und Modell seien öffentlich. Die beschriebene Struktur: Der VAE-Tokenizer besteht aus einem akustischen und einem semantischen Encoder, beide als 7-stufige ConvNeXt, die 24-kHz-Wellenformen um Faktor 3200 heruntertasten und in eine Token-Sequenz mit 7,5 Hz umwandeln; der LM-Decoder ist ein autoregressiver Transformer mit 28 Schichten. Die Autoren diagnostizieren gegenläufige Engpässe in beiden Modulen. Der VAE ist durch Speicherzugriffe auf Aktivierungen begrenzt, die Aktivierungsdatenmenge beträgt das 16,4-Fache der Gewichte, in der flachsten Stufe hat das Gewicht nur etwa 30.000 Parameter, während die Aktivierungen 1,29 Milliarden Elemente umfassen, weshalb die übliche reine Gewichtsquantisierung W8A32 kaum beschleunigt; die LM-Dekodierung liest bei Batch-Größe 1 für jedes erzeugte Token die 1,5B-Gewichte vollständig neu ein, der Engpass liegt allein im Gewichtsverkehr. Daraus folgt eine getrennte Lösung: Der gesamte Vorwärtspfad des VAE läuft einheitlich in INT8 (I8_S); INT4 wurde laut Autoren nicht gewählt, weil Sub-Byte-Formate Packen und Entpacken erfordern, gängige CPUs keine nativen 4-Bit-SIMD-Befehle haben und ConvNeXt unter INT4 schnell an Genauigkeit verliert. Das LM nutzt BitNet-Ternärgewichte (I2_S, Werte -1, 0, +1, 2-Bit-Speicherung), Aktivierungen werden pro Token online nach INT8 quantisiert, Embedding-Schicht und Ausgabekopf bleiben wegen der Vokabularzuordnung von etwa 150.000 Wörtern bei 6-Bit-Q6_K. Beim Umfang sinkt der VAE von 1,31 GB auf 0,65 GB, das LM von 3,32 GB auf 0,92 GB. Im Training wird zunächst die handgeschriebene GELU durch ReLU ersetzt und kurz feinabgestimmt, dann folgt progressives quantisierungsbewusstes Training per α-Blending, wobei α linear von 0 auf 1 steigt; laut Autoren schwankt die Destillationsverlustfunktion bei festem α=1 um 3,3 und konvergiert nicht, die progressive Variante konvergiert auf 0,91. Auf der Inferenzseite stützen sich die Autoren auf Operator-Fusion und ganzzahlige SIMD-Befehle, I8_S und I2_S teilen sich dieselbe Akkumulationspipeline. Zur Geschwindigkeit: Bei 20 Sekunden Audio erreicht die FP16-Version mit einem Thread auf keinem der drei Rechner AMD EPYC 7V13, Intel i7-13700 und Apple M4 Echtzeit; quantisiert liegt die RTF auf dem M4-Laptop bei 0,67, auf dem i7-13700-Desktop bei 0,86, der Mehrkern-Server mit niedriger Frequenz ist sogar am langsamsten. Mit 2 Threads erreichen alle drei die Echtzeit; mit 8 Threads dauern 20 Sekunden Audio 4 bis 6 Sekunden. Im Vergleich mit whisper.cpp (Whisper large-v3-turbo, q4_k, 0,44 GB), sherpa-onnx (Whisper large-v3, int8, 1,65 GB) und llama.cpp (Ultravox-1B, Q4_K_M, 2,03 GB) ist VibeVoice-ASR-BitNet auf demselben Server mit demselben 30-Sekunden-Audio und 1 bis 8 Threads durchgängig 2,1- bis 2,5-mal schneller als whisper.cpp und erreicht bereits mit 2 Threads Echtzeit, während whisper.cpp 4 Threads und die beiden anderen 6 Threads benötigen. Die Autoren merken zudem an, dass Ultravox zwar das Sprachmodell quantisiert, den Audio-Encoder aber in voller Genauigkeit belässt, wodurch 85 bis 90 Prozent der Inferenzzeit im Encoder anfallen. Zur Genauigkeit: Mit demselben Bewertungsskript und demselben Checkpoint verglichen F16- und quantisierte Version bei vorgelesener Sprache, Vorlesungen und echten Aufnahmen mit Akzent einen WER-Unterschied von höchstens 0,5 Punkten, auf LibriSpeech 0,06 Punkte, auf einem chinesischen Testset 0,3 Punkte; bei langem Audio wie Earnings-Calls ist die quantisierte Version sogar 0,85 Punkte besser.

Auswirkungen für Entwickler

Für Entwickler bedeutet diese Meldung nicht "noch ein ASR-Modell", sondern eine Verlagerung des Einsatzorts der Spracherkennung von der Cloud-GPU auf einen einzelnen CPU-Thread. Für Szenarien, in denen Audio das Gerät nicht verlassen darf (Meeting-Protokolle, medizinische und juristische Transkription, Offline-Industriesteuerung), heißt 1,58 GB Gewichte plus Ein-Thread-Echtzeit, dass weder Netz noch Grafikkarte nötig sind; für kostenempfindliche Dienste heißt es Skalierung nach Anzahl der Streams statt nach GPU-Karten. Mehrsprachigkeit steckt in denselben Gewichten: Laut Bericht erkennt derselbe Checkpoint auch Französisch, Italienisch, Koreanisch und weitere Sprachen, ohne für jede Sprache ein eigenes akustisches Modell bereitzustellen, was die Pipeline-Organisation mehrsprachiger Angebote verändert. Zu beachten ist jedoch, dass RTF 0,67 nur knapp über Echtzeit liegt, also weniger als 1,5-fache Reserve; bei langem Audio, parallelen Anfragen oder Konkurrenz um die CPU durch Vordergrundaufgaben schrumpft diese Reserve schnell. Methodisch lehrreicher ist "erst Ursachenanalyse, dann Kompression": Die Aktivierungsmenge des VAE ist 16,4-mal so groß wie die Gewichte, was erklärt, warum reine Gewichtsquantisierung in der Edge-Optimierung kaum Geschwindigkeit bringt; dass der nicht quantisierte Ultravox-Encoder 85 bis 90 Prozent der Zeit frisst, ist das Gegenbeispiel dazu. Für die Integration gibt es zwei praktische Einschränkungen: RTF und WER sind Eigenmessungen der Autoren, das Testaudio umfasst überwiegend 20- und 30-Sekunden-Segmente, und der Artikel beschreibt weder Streaming noch die Verarbeitung von Mikrofoneingaben in Echtzeit, sodass Szenarien wie Live-Untertitel nicht ohne Weiteres als nutzbar vorausgesetzt werden dürfen; die an der Edge eingesparte Rechenleistung steht für andere Aufgaben oder für Energiesparen per Taktung zur Verfügung, was aber pro Gerät gemessen statt pauschal übernommen werden sollte.

Integration und Bewertung

Folgendes sind Einschätzungen und Empfehlungen auf Basis des Berichts, keine Schlussfolgerungen des Berichts selbst. Erstens, Form des Edge-Deployments: Laut Bericht erreicht die FP16-Version auf keinem der drei Rechner mit einem Thread Echtzeit, quantisiert liegt sie auf dem M4-Laptop bei 0,67 und auf dem i7-13700 bei 0,86; diese Veränderung reicht aus, um den 1,58-GB-quantisierten Checkpoint als Standard für reine CPU-Endpunkte zu setzen und FP16 für Fälle mit GPU oder akzeptabler Mehrthreading-Nutzung vorzubehalten. Voraussetzung ist ein einzelner Stream, Audio verbleibt auf dem Gerät, und etwa 1,5-fache Echtzeit-Reserve sind akzeptabel; wer mehrere Streams parallel auf einer Maschine fährt, kann diese Schlussfolgerung nicht direkt übertragen, da die RTF mit der Streamzahl linear schlechter wird. Als Bewertungskriterium empfiehlt sich: eigenes Audio auf dem Zielgerät laufen lassen und Ein-Thread-RTF sowie WER relativ zu F16 erfassen, etwa mit der Bestehensgrenze Ein-Thread-RTF höchstens 0,7 und WER-Verschlechterung höchstens 0,5 Punkte; wird sie überschritten, auf Mehrthreading oder Cloud zurückfallen. Zweitens, Thread-Budget: Laut Bericht erreichen mit 2 Threads alle drei Rechner Echtzeit, und 8 Threads brauchen für 20 Sekunden Audio nur 4 bis 6 Sekunden, während Edge-CPUs üblicherweise das gesamte System versorgen müssen. Empfohlen ist, standardmäßig auf 2 Threads zu begrenzen und Reserve zu lassen, mehr Threads nur bei Offline-Batchverarbeitung oder ohne Vordergrundkonkurrenz freizugeben. Auslöser sind Koexistenz mit interaktiven Aufgaben, Batteriebetrieb oder gleichzeitig laufende andere Dienste. Messbare Größen sind die End-to-End-p95-Latenz, die CPU-Spitzenlast und die nach Drosselung des Geräts erneut gemessene RTF. Drittens, wer selbst Modelle komprimiert: Laut Bericht ist die Aktivierungsdatenmenge des VAE 16,4-mal so groß wie die Gewichte, W8A32 bringt praktisch keine Beschleunigung, und bei Ultravox entfallen 85 bis 90 Prozent der Zeit auf den Encoder, weil dieser voll präzise bleibt. Empfohlen ist, zuerst die Zeitanteile pro Modul zu erheben und dann Quantisierungsformat und -granularität festzulegen, statt pauschal Bits zu reduzieren. Voraussetzung ist, dass man den Inferenz-Stack kontrolliert und Kernel ändern kann; Teams, die nur fertige Schnittstellen aufrufen oder den veröffentlichten Checkpoint direkt nutzen, betrifft dies nicht. Messbare Größen sind der jeweilige Zeitanteil von Encoder und Decoder sowie die tatsächliche Veränderung der End-to-End-RTF bei Quantisierung einzelner Module.

Grenzen und offene Fragen

Der Bericht stammt aus einem eigenen technischen Artikel von Microsoft Research; RTF und WER sind Eigenmessungen der Autoren, F16 und quantisierte Version wurden mit demselben Bewertungsskript und demselben Checkpoint verglichen, eine unabhängige Reproduktion ist nicht bekannt; die drei Rechner umfassen nur AMD EPYC 7V13, Intel i7-13700 und Apple M4, das Testaudio besteht überwiegend aus 20- und 30-Sekunden-Segmenten, Verhalten bei langem Audio, Parallelität und Streaming wird im Artikel nicht beschrieben. Der Vergleich betrifft nur CPU-Inferenz-Engines, ohne Referenz für GPU oder NPU. Der Artikel gibt an, Code und Modell seien öffentlich, nennt aber keine Lizenzbedingungen; herunterladbare Gewichte bedeuten nicht, dass kommerzielle Nutzung erlaubt ist, vor Einsatz müssen Repository und Model Card auf den Lizenzumfang geprüft werden. VibeVoice-ASR-BitNet ist derzeit nicht im Modellkatalog von KimiSeek enthalten, es gibt keine entsprechende KimiSeek-Schnittstelle und keinen Preis; die im Bericht genannte Verfügbarkeit bezieht sich auf die Veröffentlichung durch die Herausgeber auf GitHub und Hugging Face. Für kommerzielle Nutzung oder gehostete Aufrufe gelten die Lizenz und die Seiten des Herausgebers. Zudem werden Mehrsprachigkeit nur im beschriebenen Testumfang erwähnt, ohne WER-Details pro Sprache; Sprachen außerhalb der aufgeführten Liste müssen selbst evaluiert werden.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

VibeVoice-ASR-BitNet:让语音大模型在你的笔记本电脑上实时运行

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.