Microsoft Research divulga código e pesos do VibeVoice-ASR-BitNet: 1,58 GB e transcrição em tempo real com um único thread em notebook
A Microsoft Research comprimiu um reconhecimento de fala baseado em LLM para 1,58 GB, com relatos de tempo real em um único thread de CPU de consumidor e perda de WER em geral inferior a 0,5 ponto. Código e pesos foram divulgados, mas os termos de licença e a capacidade de streaming não foram informados no texto original.
O que mudou
Em um artigo técnico de 4 de novembro de 2026, a Microsoft Research apresentou o VibeVoice-ASR-BitNet, afirmando ter comprimido um modelo de reconhecimento de fala baseado em LLM de 4,62 GB para 1,58 GB, com transcrição em tempo real em um único thread de CPU de consumidor, e que código e modelo foram tornados públicos. A estrutura descrita é: um tokenizer VAE formado por um codificador acústico e um codificador semântico, ambos ConvNeXt de 7 estágios, que subamostra a forma de onda de 24 kHz em 3200 vezes e a comprime em uma sequência de tokens de 7,5 Hz; o decodificador LM é um Transformer autorregressivo de 28 camadas. O diagnóstico dos autores é que os dois módulos têm gargalos opostos. O VAE é limitado pela leitura e escrita de memória das ativações, cujo volume total é 16,4 vezes o dos pesos; no estágio mais raso, os pesos têm apenas cerca de 30 mil parâmetros enquanto as ativações chegam a 1,29 bilhão de elementos, de modo que o W8A32, que costuma quantizar apenas os pesos, quase não acelera; a decodificação do LM, com batch size 1, precisa reler integralmente os pesos de 1,5B a cada token gerado, com gargalo totalmente no tráfego de pesos. A solução se divide então: todo o caminho direto do VAE usa INT8 uniforme (I8_S), e os autores dizem não ter escolhido INT4 porque formatos sub-byte exigem empacotamento e desempacotamento, as CPUs mainstream não têm instruções SIMD nativas de 4 bits e o ConvNeXt perde precisão rapidamente em INT4; o LM usa pesos ternários BitNet (I2_S, valores -1, 0, +1, armazenamento de 2 bits), com ativações quantizadas online para INT8 por token, e a camada de embedding e a cabeça de saída mantêm Q6_K de 6 bits por envolverem o mapeamento de um vocabulário de cerca de 150 mil palavras. Em tamanho, o VAE caiu de 1,31 GB para 0,65 GB e o LM, de 3,32 GB para 0,92 GB. No treinamento, primeiro trocaram a GELU manual por ReLU com breve ajuste fino e depois fizeram treinamento consciente de quantização progressivo por α-blending, com α subindo linearmente de 0 a 1; os autores afirmam que, com α=1 fixo, a perda de destilação oscilava perto de 3,3 sem convergir, enquanto a versão progressiva convergiu para 0,91. Na inferência, contam com fusão de operadores e instruções inteiras SIMD, com I8_S e I2_S compartilhando o mesmo pipeline de acumulação. Em velocidade, processando 20 segundos de áudio em um único thread, a versão FP16 não atinge tempo real em nenhuma das três máquinas: AMD EPYC 7V13, Intel i7-13700 e Apple M4; após a quantização, o RTF foi de 0,67 no notebook M4 e 0,86 no desktop i7-13700, com o servidor de vários núcleos e baixa frequência sendo o mais lento. Com 2 threads, as três entram na faixa de tempo real, e com 8 threads o processamento de 20 segundos leva de 4 a 6 segundos. Na comparação com whisper.cpp (Whisper large-v3-turbo, q4_k, 0,44 GB), sherpa-onnx (Whisper large-v3, int8, 1,65 GB) e llama.cpp (Ultravox-1B, Q4_K_M, 2,03 GB), no mesmo servidor, com o mesmo trecho de 30 segundos e de 1 a 8 threads, o VibeVoice-ASR-BitNet foi sempre de 2,1 a 2,5 vezes mais rápido que o whisper.cpp, e atinge tempo real com 2 threads, enquanto o whisper.cpp precisa de 4 e os outros dois, de 6. Os autores também observam que o Ultravox, embora tenha quantizado o modelo de linguagem, mantém o codificador de áudio em precisão total, com 85% a 90% do tempo de inferência gasto no codificador. Em precisão, usando o mesmo script de avaliação para comparar a versão F16 e a quantizada do mesmo checkpoint, a diferença de WER ficou dentro de 0,5 ponto em fala lida, palestras e gravações reais com sotaque, 0,06 ponto no LibriSpeech e 0,3 ponto no conjunto de teste em chinês; em áudios longos como teleconferências de resultados financeiros, a versão quantizada foi 0,85 ponto melhor.
Impacto para desenvolvedores
O significado direto desta notícia para desenvolvedores não é "mais um modelo de ASR", mas sim deslocar o ponto de implantação do reconhecimento de fala da GPU em nuvem para um único thread de CPU. Para cenários em que o áudio não pode sair do dispositivo (atas de reunião, transcrição médica e jurídica, controle industrial offline), pesos de 1,58 GB com tempo real em um thread significam não depender mais de rede e placa de vídeo; para serviços sensíveis a custo, significa escalar pelo número de fluxos em vez do número de GPUs. O multilinguismo aparece apenas nos mesmos pesos, e a reportagem diz que o mesmo checkpoint também reconhece francês, italiano, coreano etc., sem precisar de um modelo acústico separado por idioma, o que muda a organização do pipeline de negócios multilíngues. Mas atenção: o RTF de 0,67 é apenas um pouco mais rápido que o tempo real, com margem de menos de 1,5 vez em um thread, e áudios longos, requisições concorrentes ou disputa de CPU com tarefas de primeiro plano consomem essa margem rapidamente. No método, o mais digno de nota é "atribuir primeiro, comprimir depois": o fato de as ativações do VAE serem 16,4 vezes os pesos explica por que muitas otimizações de borda que só quantizam pesos não ganham velocidade; o codificador do Ultravox não quantizado consumindo 85% a 90% do tempo é o contraexemplo do mesmo princípio. Na integração há duas restrições práticas: RTF e WER são medições dos próprios autores, com áudios de teste principalmente de 20 e 30 segundos, e o artigo não descreve o tratamento de streaming ou entrada de microfone em tempo real, então cenários como legendas ao vivo não podem assumir disponibilidade; a capacidade de computação economizada na borda pode ser destinada a outros usos ou à redução de frequência para poupar energia, o que exige teste por modelo de dispositivo em vez de copiar conclusões.
Integração e avaliação
O que segue são julgamentos e recomendações baseados na reportagem, não conclusões dela. Primeiro, forma de implantação na borda: a reportagem diz que a versão FP16 não atinge tempo real em um thread nas três máquinas, e que após a quantização o RTF é 0,67 no notebook M4 e 0,86 no i7-13700; essa mudança basta para definir o checkpoint quantizado de 1,58 GB como padrão de endpoints somente CPU, deixando o FP16 para casos com GPU ou que aceitem múltiplos threads. A premissa é fluxo único, áudio que não sai do dispositivo e margem de cerca de 1,5 vez o tempo real; se você precisa de vários fluxos paralelos em uma máquina, essa conclusão não se transfere diretamente, pois o RTF piora linearmente com o número de fluxos. Sugere-se como critério de avaliação: rodar seu próprio áudio no modelo de máquina alvo, registrar o RTF em um thread e o WER relativo ao F16, por exemplo com linha de aprovação de RTF em um thread não superior a 0,7 e degradação de WER não superior a 0,5 ponto, voltando a múltiplos threads ou à nuvem se ultrapassar. Segundo, orçamento de threads: a reportagem diz que com 2 threads as três máquinas entram na faixa de tempo real e que com 8 threads 20 segundos de áudio levam de 4 a 6 segundos, mas a CPU da borda costuma precisar atender todo o sistema. Recomenda-se limitar a 2 threads por padrão com margem, liberando mais threads apenas em processamento em lote offline ou sem disputa de primeiro plano. Os gatilhos são coexistência com tarefas interativas, alimentação por bateria ou necessidade de rodar outros serviços ao mesmo tempo. As métricas mensuráveis são latência p95 de ponta a ponta, pico de uso de CPU e RTF medido novamente após redução de frequência do dispositivo. Terceiro, se você mesmo comprime modelos: a reportagem diz que o volume de ativações do VAE é 16,4 vezes o dos pesos, que o W8A32 praticamente não acelera na prática e que o Ultravox gasta 85% a 90% do tempo no codificador por mantê-lo em precisão total. Sugere-se primeiro atribuir o tempo por módulo e depois decidir formato e granularidade da quantização, em vez de reduzir bits uniformemente. A premissa é dominar a pilha de inferência e poder alterar kernels; equipes que apenas chamam APIs prontas ou usam diretamente o checkpoint publicado não se aplicam a este item. As métricas mensuráveis são a proporção de tempo do codificador e do decodificador e a variação real de RTF de ponta a ponta após quantizar um único módulo.
Limites e pontos a confirmar
A reportagem vem de um artigo técnico da própria Microsoft Research, e RTF e WER são medições dos autores, com F16 e versão quantizada comparadas pelo mesmo script de avaliação e o mesmo checkpoint, sem reprodução independente conhecida; as três máquinas cobrem apenas AMD EPYC 7V13, Intel i7-13700 e Apple M4, os áudios de teste são principalmente de 20 e 30 segundos, e o comportamento em áudio longo, concorrência e entrada em streaming não é descrito no artigo. A comparação é apenas entre engines de inferência em CPU, sem referência de GPU ou NPU. O artigo diz que código e modelo foram tornados públicos, mas não informa os termos de licença; pesos disponíveis para download não significam uso comercial permitido, e é preciso verificar o escopo de autorização no repositório e no cartão do modelo antes de adotar. O VibeVoice-ASR-BitNet não está atualmente no catálogo de modelos do KimiSeek, e não há API ou preço do KimiSeek correspondente para consulta; a disponibilidade mencionada na reportagem refere-se à publicação pelo divulgador no GitHub e no Hugging Face; para uso comercial ou chamadas hospedadas, consulte a licença e a página do divulgador. Além disso, o multilinguismo é mencionado apenas no escopo de teste descrito na reportagem, sem detalhamento de WER por idioma, e negócios com idiomas fora da lista precisam de avaliação própria.