HUST e Horizon propõem Multimodal Flow: linguagem e visão compartilham um objetivo Flow; MF-1 de 1,6 B relata superar arquiteturas híbridas e totalmente discretas
Segundo o Machine Heart, em 5 de novembro de 2026, a equipe de Xinggang Wang, da Universidade de Ciência e Tecnologia de Huazhong (HUST), e a Horizon, entre outras instituições, propuseram o Multimodal Flow: linguagem e visão mantêm embeddings contínuos próprios e compartilham o mesmo objetivo de Flow Matching. O MF-1, de 1,6 B, foi pré-treinado do zero e consumiu apenas 150 B tokens; o relato afirma que, em comparações controladas com o mesmo orçamento de dados e parâmetros, supera arquiteturas híbridas e totalmente discretas em métricas como GenEval, GQA, VQAv2 e MMBench.
O que mudou
Segundo o Machine Heart, em 5 de novembro de 2026, a equipe de Xinggang Wang, da Universidade de Ciência e Tecnologia de Huazhong (HUST), em colaboração com a Horizon Robotics e outras instituições, propôs o Multimodal Flow, que defende a modelagem unificada de linguagem e visão em um espaço de embeddings contínuos. O relato classifica as abordagens anteriores em duas linhas: a totalmente discreta (como Chameleon e Emu3) quantiza imagens em tokens discretos e as concatena com a linguagem para autoregressão, ficando limitada pelo tokenizador visual, com detalhes de alta frequência facilmente perdidos na quantização; a híbrida discreta-contínua (como Transfusion e JanusFlow) usa previsão discreta para texto e difusão contínua para imagem, ao custo de manter dois objetivos e dois processos de amostragem, o que dificulta a otimização conjunta. O Multimodal Flow mantém embeddings contínuos nativos para ambos, mas compartilha um único objetivo de Flow Matching. A equipe instanciou o modelo principal MF-1: 1,6 B de parâmetros, pré-treinado do zero e consumindo apenas 150 B tokens. Os números citados incluem GenEval geral 0,821, alinhamento a prompts longos no DPG-Bench 83,44 e dimensão de contagem do GenEval 0,73; no lado de compreensão, VQAv2 72,6, MMBench 67,2 e POPE 86,1, com média de 75,3 nos três. Em comparação controlada com os mesmos dados, orçamento de parâmetros e configuração de otimização, o relato afirma que supera amplamente a arquitetura híbrida no estilo Transfusion e a totalmente discreta no estilo Chameleon em GenEval, GQA, VQAv2 e MMBench. Na arquitetura, o texto é codificado em superblocos de texto a cada 8 tokens por um T5-small congelado; a imagem é processada por um SigLIP2 congelado, que extrai features de uma grade espacial 16×16 para formar superblocos visuais. Os dois são ordenados conforme a tarefa em uma sequência multimodal e enviados a um backbone compartilhado Chunk-Causal Flow. A atenção usa máscara Chunk-Causal: ao prever o k-ésimo superbloco, os anteriores ficam totalmente visíveis, as posições dentro do bloco atual são modeladas conjuntamente e os superblocos futuros ficam mascarados; as camadas de atenção são compartilhadas e as FFNs separadas por modalidade. No treino, é possível prever vários superblocos-alvo em paralelo, cada um amostrando seu próprio passo de tempo Flow; na inferência, a geração é sequencial por bloco, reutilizando o cache KV dos superblocos já concluídos. Alterando a ordem dos superblocos e a direção do alvo, o mesmo conjunto de parâmetros alterna entre geração de texto, texto para imagem, imagem para texto e VQA. O relato também repassa dois grupos de ablações: na representação visual, features semânticas como SigLIP2 e DINOv2 foram, no geral, superiores a latentes de VAE como FLUX.2 VAE e SD-VAE e a pixels brutos em tarefas de geração e descrição; o mesmo CFG pode atuar simultaneamente sobre texto e imagem, com escala de orientação ideal de cerca de 3 para imagem para texto e cerca de 5 para texto para imagem. Na transferência, pré-treinar de forma multimodal e depois ajustar fino, em comparação com ajuste fino direto a partir de inicialização aleatória, elevou o GenEval de 0,527 para 0,821, o SEED-Bench de 31,6 para 62,4 e o MMBench de 36,0 para 67,2. A equipe diz que pretende expandir para sequências intercaladas de imagem e texto mais longas, vídeo e outras modalidades estruturadas; o relato inclui ainda endereços do artigo e do repositório GitHub.
Impacto para desenvolvedores
O significado direto dessa linha para desenvolvedores está sobretudo na arquitetura, não em “mais um modelo competitivo”. A abordagem híbrida exige manter, na mesma stack de treino, duas perdas e dois códigos de amostragem — difusão e autoregressão —, o que aumenta a complexidade de engenharia e a superfície de ajuste; a totalmente discreta aposta parte da qualidade de geração no tokenizador visual. A abordagem descrita reduz os dois a um objetivo Flow, diminuindo o número de funções-objetivo a manter, e a troca de tarefa vira uma mudança na ordem dos superblocos. Levada ao próprio código, essa simplificação economiza principalmente complexidade no pipeline de dados e na lógica de amostragem, não poder computacional. O segundo efeito concreto é a mudança de papel dos codificadores front-end. O desenho relatado congela o T5-small e o SigLIP2, e o modelo aprende apenas o Flow entre superblocos; isso significa que trocar o codificador de texto ou de visão altera diretamente as estatísticas da distribuição de entrada, e as ablações sugerem que features visuais semânticas são mais adequadas a um modelo generativo unificado do que latentes de VAE voltados à reconstrução. Se o seu caso exige reconstrução de alta fidelidade em nível de pixel, as evidências do relato não podem ser extrapoladas diretamente. O terceiro ponto é a forma de inferência. A geração bloco a bloco com reutilização de cache KV não é exatamente igual à decodificação autoregressiva pura nem à amostragem por difusão, e batching, gestão de cache e saída em streaming precisam ser redesenhados. O relato não traz números de throughput, memória de GPU ou latência, e a escala de 1,6 B é menor que a dos principais modelos unificados atuais; concluir sobre custo-benefício em escalas maiores agora seria prematuro. Tudo acima é uma leitura de engenharia do que foi relatado, não uma verificação independente da proposta. Os números de benchmark do MF-1 são auto-relatados pela equipe, e as baselines da comparação controlada também rodaram sob a configuração de treino da própria equipe.
Integração e avaliação
Três sugestões condicionais derivadas do relato — não são conclusões verificadas. 1. Vale reconstruir sua própria stack de treino multimodal unificada com essa espinha dorsal? A mudança alegada é substituir o duplo objetivo da abordagem híbrida por um objetivo compartilhado de Flow Matching e superar as baselines híbridas e totalmente discretas sob orçamento controlado. A decisão é: um novo projeto deve adotar diretamente a estrutura Chunk-Causal Flow com atenção compartilhada e FFNs separadas por modalidade? A premissa é ter um codificador semântico congelável na entrada e métricas downstream que cubram tanto geração imagem-texto quanto compreensão; se você só se importa com qualidade de texto puro, o relato não cobre isso. Uma forma mensurável de validar é reproduzir a mesma escada de escala: treinar versões de 0,6 B, 1,2 B e 1,6 B e verificar se a perda do objetivo Flow e a perplexidade de linguagem caem juntas, enquanto GenEval e CLIPScore de imagem para texto sobem com a escala; se as quatro curvas não apontarem na mesma direção, o objetivo não se sustenta nos seus dados. 2. No front-end visual, escolher features semânticas ou latentes de reconstrução? A conclusão da ablação relatada é que, com o mesmo orçamento de treino, SigLIP2 e DINOv2 superam FLUX.2 VAE, latentes de SD-VAE e pixels brutos. A escolha é congelar um codificador semântico como superbloco visual ou continuar usando latentes de VAE com uma cabeça de difusão. A premissa é que a tarefa-alvo seja principalmente geração e descrição; se fidelidade de reconstrução for prioridade, essa conclusão não se transfere automaticamente. Uma abordagem mensurável é um A/B com o mesmo orçamento: usar como métricas principais o score geral do GenEval e o CLIPScore de descrição, acrescentando uma medida de erro de reconstrução como verificação cruzada; se esta piorar claramente, é preciso reavaliar. 3. Como configurar o mecanismo de orientação? O relato diz que o mesmo CFG pode atuar nos dois sentidos, texto e imagem, com escala ideal de cerca de 3 para imagem para texto e cerca de 5 para texto para imagem. A escolha é parar de manter implementações separadas de orientação para as duas direções e usar um único CFG com escala definida por tarefa. A premissa é que seu objetivo de treino seja de fato um Flow unificado, e não duas cabeças independentes. A validação mensurável é varrer a escala: buscar o pico de métricas de alinhamento (como DPG-Bench) perto de 3 para imagem para texto e perto de 5 para texto para imagem, registrando ao mesmo tempo o custo em diversidade ou consistência quando a escala sobe, para confirmar que o pico não é obtido sacrificando outra métrica. Há ainda uma questão mais básica: antes de investir, esclareça os pesos e a licença. O relato traz um artigo e um repositório de código; se os pesos serão liberados e sob qual licença, o relato não informa.
Limites e pontos a confirmar
O MF-1 e o Multimodal Flow descritos neste texto não têm entrada correspondente no catálogo atual de modelos do KimiSeek; essa versão não está disponível no KimiSeek no momento. O relato também não menciona nenhuma API hospedada, portanto não há afirmação de disponibilidade de API de fornecedor que possa ser apontada; se um serviço hospedado surgir depois, seu escopo de disponibilidade e cobrança devem seguir as explicações do fornecedor e a página de preços do site. Outras limitações: o relato usa a expressão “código aberto” e inclui um repositório de código, mas não diz se os pesos do modelo serão liberados nem apresenta termos de licença; código acessível não equivale a pesos abertos, muito menos a uma licença de código aberto. Todos os números de benchmark, conclusões de ablação e resultados da comparação controlada vêm do que a equipe relata e do que a reportagem repassa; este texto não os reproduziu de forma independente, e os números das baselines também foram obtidos sob a configuração de treino da própria equipe. A escala de 1,6 B parâmetros e 150 B tokens é claramente menor que a dos principais modelos unificados atuais, e o próprio relato a chama de ponto de partida; não se sabe se as conclusões se mantêm com escala maior. O relato não fornece throughput de inferência, uso de memória de GPU ou dados de custo, e não é possível julgar o ganho real de velocidade trazido pela reutilização do cache KV. Modalidades como vídeo e sequências intercaladas longas aparecem apenas nos planos futuros, sem resultados.