← Todas las noticias

Microsoft Research publica el código y los pesos de VibeVoice-ASR-BitNet: 1,58 GB y transcripción en tiempo real con un solo hilo en portátil

Microsoft Research comprime un reconocimiento de voz basado en LLM hasta 1,58 GB; según el artículo, un solo hilo de CPU de consumo basta para tiempo real y la pérdida de WER se queda en su mayoría dentro de 0,5 puntos. El código y los pesos ya están publicados, pero el texto original no detalla las condiciones de licencia ni la capacidad de streaming.

Publicado Actualizado

Qué ha cambiado

En un artículo técnico del 4 de noviembre de 2026, Microsoft Research presentó VibeVoice-ASR-BitNet, con el que afirma haber comprimido un modelo de reconocimiento de voz basado en un LLM de 4,62 GB a 1,58 GB, capaz de transcribir en tiempo real con un solo hilo en CPU de consumo, con código y modelo ya públicos. La arquitectura descrita es: un tokenizador VAE formado por un codificador acústico y uno semántico, cada uno con ConvNeXt de 7 etapas, que submuestrea la forma de onda de 24 kHz 3200 veces y la comprime en una secuencia de tokens de 7,5 Hz; el decodificador LM es un Transformer autorregresivo de 28 capas. Los autores diagnostican cuellos de botella opuestos en los dos módulos. El VAE está limitado por la lectura y escritura en memoria de las activaciones: el volumen total de activaciones es 16,4 veces el de los pesos, y en la etapa más superficial los pesos tienen solo unos 30 000 parámetros mientras las activaciones alcanzan 1290 millones de elementos, por lo que el W8A32 habitual, que solo cuantiza pesos, casi no acelera; la decodificación LM, con tamaño de lote 1, relee completos los pesos de 1,5B por cada token generado, así que el cuello está en el tráfico de pesos. La solución se separa en consecuencia: toda la ruta forward del VAE usa INT8 uniforme (I8_S); los autores descartan INT4 porque los formatos sub-byte exigen empaquetar y desempaquetar, las CPU convencionales no tienen instrucciones SIMD nativas de 4 bits y ConvNeXt pierde precisión rápido con INT4. El LM adopta pesos ternarios BitNet (I2_S, valores -1, 0 y +1, almacenados en 2 bits), con activaciones cuantizadas en línea a INT8 por token, y mantiene la capa de embeddings y la cabeza de salida en Q6_K de 6 bits por el mapeo de un vocabulario de unos 150 000 palabras. En tamaño, el VAE baja de 1,31 GB a 0,65 GB y el LM de 3,32 GB a 0,92 GB. En entrenamiento, primero sustituyen GELU por ReLU con un ajuste fino breve y luego aplican entrenamiento consciente de cuantización progresivo con α-blending, subiendo α de 0 a 1 linealmente; según los autores, fijar α=1 directamente deja la pérdida de destilación oscilando alrededor de 3,3 sin converger, mientras la versión progresiva converge a 0,91. En inferencia se apoyan en fusión de operadores e instrucciones enteras SIMD, con I8_S e I2_S compartiendo la misma tubería de acumulación. En velocidad, procesando 20 segundos de audio con un solo hilo, la versión FP16 no alcanza el tiempo real en ninguna de las tres máquinas: AMD EPYC 7V13, Intel i7-13700 y Apple M4; tras la cuantización, el RTF es 0,67 en el portátil M4 y 0,86 en el sobremesa i7-13700, y el servidor, con muchos núcleos y baja frecuencia, resulta el más lento. Con 2 hilos las tres máquinas entran en tiempo real, y con 8 hilos procesar 20 segundos de audio lleva de 4 a 6 segundos. En la comparación con whisper.cpp (Whisper large-v3-turbo, q4_k, 0,44 GB), sherpa-onnx (Whisper large-v3, int8, 1,65 GB) y llama.cpp (Ultravox-1B, Q4_K_M, 2,03 GB), en el mismo servidor, el mismo fragmento de 30 segundos y de 1 a 8 hilos, VibeVoice-ASR-BitNet es siempre entre 2,1 y 2,5 veces más rápido que whisper.cpp, y basta con 2 hilos para tiempo real, mientras whisper.cpp necesita 4 y los otros dos, 6. Los autores señalan además que Ultravox cuantiza el modelo de lenguaje pero mantiene el codificador de audio en precisión completa, y que entre el 85 % y el 90 % del tiempo de inferencia se va en el codificador. En precisión, comparando la versión F16 y la cuantizada del mismo checkpoint con el mismo script de evaluación, la diferencia de WER es de 0,5 puntos o menos en voz leída, clases magistrales y grabaciones reales con acento, de 0,06 puntos en LibriSpeech y de 0,3 puntos en el conjunto de prueba en chino; en audio largo como llamadas de resultados financieros, la versión cuantizada es incluso 0,85 puntos mejor.

Impacto para desarrolladores

Para los desarrolladores, la noticia no es «otro modelo de ASR», sino que traslada el lugar de despliegue del reconocimiento de voz de la GPU en la nube a una CPU de un solo hilo. En escenarios donde el audio no puede salir del dispositivo (actas de reuniones, transcripción médica y jurídica, control industrial offline), 1,58 GB de pesos y tiempo real con un hilo significan que ya no hace falta depender de la red ni de una tarjeta gráfica; en servicios sensibles al coste, permite escalar por número de flujos en lugar de por número de GPU. El multilingüismo se concentra en un único conjunto de pesos: según el artículo, el mismo checkpoint reconoce también francés, italiano, coreano, etc., sin desplegar un modelo acústico por idioma, lo que cambia la organización del pipeline en negocios multilingües. Conviene tener en cuenta que un RTF de 0,67 solo es algo más rápido que el tiempo real: el margen con un hilo es inferior a 1,5 veces y se agota rápido con audio largo, peticiones concurrentes o al competir por CPU con tareas de primer plano. En el plano metodológico, lo más aprovechable es «primero atribuir, luego comprimir»: que las activaciones del VAE sean 16,4 veces los pesos explica por qué muchas optimizaciones en dispositivo que solo cuantizan pesos no ganan velocidad; que el codificador sin cuantizar de Ultravox consuma el 85 %-90 % del tiempo es el contraejemplo del mismo principio. En la integración hay dos restricciones prácticas: tanto el RTF como el WER son mediciones propias de los autores, y el audio de prueba es sobre todo de 20 y 30 segundos; el artículo no describe cómo se maneja el streaming ni la entrada de micrófono en tiempo real, así que no puede darse por hecho que sirva para subtitulado en vivo; la capacidad de cómputo ahorrada en el dispositivo puede reservarse para otros usos o para bajar frecuencia y ahorrar energía, pero eso exige medirlo en cada modelo de equipo y no copiar las conclusiones.

Integración y evaluación

Lo siguiente son valoraciones y recomendaciones basadas en el artículo, no conclusiones del propio artículo. Primero, forma de despliegue en dispositivo: el artículo indica que la versión FP16 no alcanza el tiempo real con un hilo en ninguna de las tres máquinas y que la cuantizada da 0,67 en el portátil M4 y 0,86 en el i7-13700, un cambio suficiente para fijar el checkpoint cuantizado de 1,58 GB como opción por defecto de un endpoint solo-CPU, dejando FP16 para casos con GPU o donde se acepte multihilo. La premisa es un solo flujo, que el audio no salga del dispositivo y aceptar un margen de unas 1,5 veces el tiempo real; si quieres varios flujos en paralelo en una misma máquina, esto no se traslada directamente, porque el RTF empeora linealmente con el número de flujos. Como criterio de evaluación, propongo ejecutar tu propio audio en el equipo objetivo y registrar el RTF de un hilo y el WER relativo a F16; por ejemplo, aprobar con RTF de un hilo no superior a 0,7 y degradación de WER no mayor de 0,5 puntos, y si se supera, volver al multihilo o a la nube. Segundo, presupuesto de hilos: el artículo indica que con 2 hilos las tres máquinas entran en tiempo real y que con 8 hilos procesar 20 segundos de audio lleva solo de 4 a 6 segundos, pero la CPU del dispositivo suele tener que atender todo el sistema. Recomiendo limitar a 2 hilos por defecto y dejar margen, y abrir más solo en procesamiento por lotes offline o sin competencia de primer plano. El disparador es convivir con tareas interactivas, funcionar con batería o necesitar otros servicios a la vez. Las métricas medibles son la latencia p95 de extremo a extremo, el pico de ocupación de CPU y el RTF medido de nuevo tras la reducción de frecuencia del equipo. Tercero, si comprimes tu propio modelo: el artículo indica que el volumen de activaciones del VAE es 16,4 veces el de los pesos, que W8A32 prácticamente no acelera en las mediciones y que Ultravox pasa el 85 %-90 % del tiempo en el codificador por mantenerlo en precisión completa. Recomiendo atribuir primero los tiempos módulo a módulo y después decidir el formato y la granularidad de cuantización, en lugar de bajar bits de forma uniforme. La premisa es que controlas la pila de inferencia y puedes modificar el kernel; no aplica a equipos que solo llaman a una API existente o usan el checkpoint publicado tal cual. Las métricas medibles son la proporción de tiempo del codificador y del decodificador, y el cambio real de RTF de extremo a extremo al cuantizar cada módulo.

Límites y cuestiones pendientes

El artículo proviene de un texto técnico del propio Microsoft Research; el RTF y el WER son mediciones de los autores, con el mismo script de evaluación y el mismo checkpoint para F16 y la versión cuantizada, y no se conoce reproducción por terceros; las tres máquinas cubren solo AMD EPYC 7V13, Intel i7-13700 y Apple M4, el audio de prueba es sobre todo de 20 y 30 segundos, y el artículo no describe el comportamiento con audio largo, concurrencia ni entrada en streaming. La comparación se limita a motores de inferencia en CPU, sin referencia en GPU o NPU. El artículo afirma que el código y el modelo están publicados, pero no da condiciones de licencia: que los pesos se puedan descargar no equivale a poder usarlos comercialmente, y antes de adoptarlo hay que consultar el alcance de la autorización en el repositorio y en la model card. VibeVoice-ASR-BitNet no está actualmente en el catálogo de modelos de KimiSeek, y no hay API ni precio de KimiSeek asociados que consultar; la disponibilidad mencionada se refiere a la publicación del editor en GitHub y Hugging Face, y para uso comercial o llamadas alojadas hay que guiarse por la licencia y las páginas del editor. Además, el multilingüismo solo se menciona dentro del alcance de prueba descrito, sin detalle de WER por idioma, así que los negocios con idiomas fuera de los enumerados deben evaluarlos por su cuenta.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

VibeVoice-ASR-BitNet:让语音大模型在你的笔记本电脑上实时运行

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.