Microsoft Research Asia publie le code et les poids de VibeVoice-ASR-BitNet : 1,58 Go, transcription en temps réel sur un seul thread de portable
Microsoft Research Asia compresse un modèle de reconnaissance vocale basé sur un LLM à 1,58 Go ; selon le rapport, un CPU grand public suffirait sur un seul thread pour le temps réel, avec une perte de WER généralement inférieure à 0,5 point. Code et poids sont publiés, mais les conditions de licence et les capacités de streaming ne sont pas précisées dans le texte original.
Ce qui change
Dans un article technique du 4 novembre 2026, Microsoft Research Asia présente VibeVoice-ASR-BitNet, affirmant avoir compressé un modèle de reconnaissance vocale basé sur un grand modèle de langage de 4,62 Go à 1,58 Go, avec une transcription en temps réel sur un seul thread de CPU grand public ; le code et le modèle seraient tous deux publics. L'architecture décrite est la suivante : le tokenizer VAE se compose de deux ConvNeXt à 7 étages, un encodeur acoustique et un encodeur sémantique, qui sous-échantillonnent la forme d'onde à 24 kHz d'un facteur 3200 pour la réduire à une séquence de tokens à 7,5 Hz ; le décodeur LM est un Transformer autorégressif à 28 couches. Les auteurs diagnostiquent des goulots d'étranglement opposés entre les deux modules. Le VAE est limité par les lectures et écritures mémoire des activations, dont le volume total est 16,4 fois celui des poids ; dans la couche la plus superficielle, les poids ne comptent qu'environ 30 000 paramètres tandis que les activations atteignent 1,29 milliard d'éléments, ce qui explique que le W8A32, qui ne quantifie souvent que les poids, n'apporte presque aucun gain. Le décodage LM, avec une taille de lot de 1, doit relire intégralement les poids de 1,5 milliard de paramètres à chaque token généré, le goulot étant entièrement le trafic de poids. La solution est donc scindée : le VAE passe en INT8 (I8_S) sur toute la passe avant, les auteurs écartant l'INT4 parce que les formats sub-byte imposent un empaquetage et dépaquetage, que les CPU courants n'ont pas d'instruction SIMD native 4 bits et que la précision de ConvNeXt chute vite en INT4 ; le LM adopte des poids ternaires BitNet (I2_S, valeurs -1, 0, +1, stockage sur 2 bits), les activations étant quantifiées en ligne par token en INT8, les couches d'embedding et la tête de sortie restant en Q6_K à 6 bits en raison du mapping d'un vocabulaire d'environ 150 000 mots. En volume, le VAE passe de 1,31 Go à 0,65 Go et le LM de 3,32 Go à 0,92 Go. Côté entraînement, la GELU manuelle est d'abord remplacée par ReLU avec un court fine-tuning, puis un entraînement conscient de la quantification progressif par α-blending est appliqué, α montant linéairement de 0 à 1 ; les auteurs indiquent qu'avec α fixé directement à 1, la perte de distillation oscille autour de 3,3 sans converger, tandis que la version progressive converge à 0,91. Côté inférence, le système repose sur la fusion d'opérateurs et des instructions SIMD entières, I8_S et I2_S partageant le même pipeline d'accumulation. Pour la vitesse, sur 20 secondes d'audio en mono-thread, la version FP16 n'atteint pas le temps réel sur les trois machines AMD EPYC 7V13, Intel i7-13700 et Apple M4 ; après quantification, le RTF est de 0,67 sur le portable M4 et de 0,86 sur le bureau i7-13700, le serveur multicœur à basse fréquence étant paradoxalement le plus lent. Avec 2 threads, les trois machines entrent en zone temps réel, et avec 8 threads, 20 secondes d'audio demandent 4 à 6 secondes. Face à whisper.cpp (Whisper large-v3-turbo, q4_k, 0,44 Go), sherpa-onnx (Whisper large-v3, int8, 1,65 Go) et llama.cpp (Ultravox-1B, Q4_K_M, 2,03 Go), sur le même serveur, le même extrait de 30 secondes et de 1 à 8 threads, VibeVoice-ASR-BitNet est toujours 2,1 à 2,5 fois plus rapide que whisper.cpp et atteint le temps réel dès 2 threads, alors que whisper.cpp en demande 4 et les deux autres 6. Les auteurs notent aussi qu'Ultravox quantifie le modèle de langage mais garde l'encodeur audio en pleine précision, 85 % à 90 % du temps d'inférence étant passé dans l'encodeur. Côté précision, en comparant la version F16 et la version quantifiée du même checkpoint avec le même script d'évaluation, l'écart de WER reste inférieur à 0,5 point sur de la parole lue, des cours et des enregistrements réels avec accent, à 0,06 point sur LibriSpeech et à 0,3 point sur un jeu de test en chinois ; sur les audio longs de type conférence téléphonique financière, la version quantifiée fait même 0,85 point de mieux.
Conséquences pour les développeurs
Pour les développeurs, l'intérêt direct n'est pas « un modèle ASR de plus », mais le déplacement du lieu de déploiement de la reconnaissance vocale du GPU cloud vers un CPU mono-thread. Pour les cas où l'audio ne doit pas quitter l'appareil (comptes rendus de réunion, transcription médicale et juridique, contrôle industriel hors ligne), 1,58 Go de poids et le temps réel mono-thread signifient ne plus dépendre du réseau ni d'une carte graphique ; pour les services sensibles au coût, cela signifie dimensionner selon le nombre de flux et non selon le nombre de GPU. Le multilinguisme tient dans un seul jeu de poids : selon le rapport, le même checkpoint reconnaît aussi le français, l'italien, le coréen, etc., sans déployer un modèle acoustique par langue, ce qui change l'organisation des pipelines multilingues. Attention toutefois : un RTF de 0,67 n'est que légèrement plus rapide que le temps réel, avec moins de 1,5 fois de marge en mono-thread ; sur des audio longs, des requêtes concurrentes ou une concurrence avec les tâches de premier plan, cette marge s'épuise vite. Sur la méthode, l'idée la plus utile est « attribuer avant de compresser » : le fait que les activations du VAE représentent 16,4 fois les poids explique pourquoi beaucoup d'optimisations embarquées qui ne quantifient que les poids ne gagnent pas en vitesse ; l'encodeur non quantifié d'Ultravox qui consomme 85 % à 90 % du temps en est l'illustration inverse. Deux contraintes pratiques subsistent pour l'intégration : RTF et WER sont des auto-mesures des auteurs, sur des audio de 20 et 30 secondes surtout, et l'article ne décrit pas le traitement du streaming ni de l'entrée micro en temps réel, si bien qu'on ne peut pas supposer directement que le sous-titrage en direct fonctionne ; le calcul économisé sur l'appareil peut servir à d'autres usages ou à réduire la fréquence pour économiser la batterie, ce qui demande des mesures par modèle plutôt que d'extrapoler les conclusions.
Intégration et évaluation
Ce qui suit relève d'un jugement et de recommandations fondés sur le rapport, et non des conclusions du rapport lui-même. Premièrement, la forme de déploiement embarqué : selon le rapport, la version FP16 n'atteint pas le temps réel en mono-thread sur les trois machines, tandis qu'après quantification le RTF est de 0,67 sur le portable M4 et de 0,86 sur le i7-13700, un changement suffisant pour faire du checkpoint quantifié de 1,58 Go le choix par défaut d'un endpoint CPU-only et réserver le FP16 aux cas avec GPU ou acceptant le multi-thread. Cela suppose un seul flux, un audio qui ne quitte pas l'appareil et une marge d'environ 1,5 fois le temps réel ; si vous voulez plusieurs flux en parallèle sur une machine, cette conclusion ne se transpose pas directement, car le RTF se dégrade linéairement avec le nombre de flux. Comme critère d'évaluation, on suggérera de faire tourner ses propres audio sur la machine cible et de relever le RTF mono-thread et le WER relatif au F16, par exemple avec un seuil d'acceptation à RTF mono-thread inférieur ou égal à 0,7 et une dégradation de WER inférieure ou égale à 0,5 point, sinon revenir au multi-thread ou au cloud. Deuxièmement, le budget de threads : selon le rapport, avec 2 threads les trois machines entrent toutes en zone temps réel, et avec 8 threads, 20 secondes d'audio ne demandent que 4 à 6 secondes, alors que le CPU embarqué doit généralement servir tout le système. On suggérera de limiter par défaut à 2 threads en gardant de la marge, et de monter en threads seulement pour du traitement par lots hors ligne ou en l'absence de concurrence avec le premier plan. Les conditions déclenchantes sont la coexistence avec des tâches interactives, l'alimentation sur batterie ou la nécessité de faire tourner d'autres services. Les indicateurs mesurables sont la latence p95 de bout en bout, le pic d'occupation CPU et le RTF remesuré après throttling de l'appareil. Troisièmement, si vous compressez vous-même un modèle : selon le rapport, les activations du VAE représentent 16,4 fois les poids, le W8A32 ne gagne quasiment pas en vitesse en pratique, et Ultravox passe 85 % à 90 % du temps dans l'encodeur resté en pleine précision. On suggérera de commencer par une attribution des temps par module avant de choisir le format et la granularité de quantification, plutôt que de réduire uniformément les bits. Cela suppose de maîtriser la pile d'inférence et de pouvoir modifier les kernels ; les équipes qui se contentent d'appeler une API existante ou d'utiliser directement le checkpoint publié ne sont pas concernées. Les indicateurs mesurables sont la part de temps de l'encodeur et du décodeur, et la variation réelle du RTF de bout en bout après quantification d'un seul module.
Limites et points à confirmer
Le rapport provient d'un article technique de Microsoft Research Asia lui-même ; RTF et WER sont des auto-mesures des auteurs, la comparaison F16/quantifié portant sur le même checkpoint et le même script d'évaluation, sans reproduction tierce connue ; les trois machines se limitent à AMD EPYC 7V13, Intel i7-13700 et Apple M4, les audio de test font surtout 20 et 30 secondes, et le comportement sur audio long, en concurrence et en streaming n'est pas décrit. La comparaison ne porte que sur des moteurs d'inférence CPU, sans référence GPU ou NPU. L'article affirme que code et modèle sont publics, mais ne donne pas les conditions de licence : des poids téléchargeables ne signifient pas usage commercial autorisé, et il faut vérifier le périmètre d'autorisation du dépôt et de la carte du modèle avant adoption. VibeVoice-ASR-BitNet n'est actuellement pas au catalogue de modèles de KimiSeek, et aucune API ni tarif KimiSeek correspondant n'est consultable ; la disponibilité évoquée dans le rapport renvoie à la publication par l'émetteur sur GitHub et Hugging Face ; pour un usage commercial ou un appel hébergé, se référer à la licence et aux pages de l'émetteur. Enfin, le multilinguisme n'est mentionné que dans le périmètre de test décrit, sans détail du WER par langue ; les activités dont les langues ne figurent pas dans cette liste doivent faire leur propre évaluation.