← Toutes les actualités

HUST et Horizon proposent Multimodal Flow : langue et vision partagent un objectif Flow, le MF-1 de 1,6 Md revendique de dépasser les architectures hybrides et discrètes

Selon un article de Machine Heart daté du 5 novembre 2026, l'équipe de Wang Xinggang de l'Université des sciences et technologies de Huazhong, avec Horizon Robotics et d'autres institutions, propose Multimodal Flow : la langue et la vision conservent chacune leurs plongements continus et partagent un même objectif Flow Matching. Le MF-1 de 1,6 milliard de paramètres, pré-entraîné de zéro et consommant seulement 150 milliards de tokens, dépasserait selon l'article, dans des comparaisons contrôlées à budget de données et de paramètres égal, les architectures hybrides et entièrement discrètes sur GenEval, GQA, VQAv2 et MMBench.

Publication Mise à jour

Ce qui change

Selon un article de Machine Heart daté du 5 novembre 2026, l'équipe de Wang Xinggang de l'Université des sciences et technologies de Huazhong, en collaboration avec Horizon Robotics et d'autres institutions, propose Multimodal Flow, qui revendique de modéliser de façon unifiée la langue et la vision dans un espace de plongements continus. L'article classe les approches antérieures en deux familles : la voie entièrement discrète (comme Chameleon, Emu3) quantifie les images en tokens discrets et les concatène au texte pour un entraînement autorégressif, mais elle est limitée par le tokeniseur visuel et les détails haute fréquence se perdent facilement à la quantification ; la voie hybride discret-continu (comme Transfusion, JanusFlow) fait passer le texte par une prédiction discrète et l'image par une diffusion continue, au prix de deux fonctions objectif et de deux pipelines d'échantillonnage à maintenir, ce qui rend l'optimisation conjointe plus difficile. Multimodal Flow laisse chacun conserver ses plongements continus natifs tout en partageant un même objectif Flow Matching. L'équipe a instancié le modèle principal MF-1 : 1,6 milliard de paramètres, pré-entraîné de zéro, pour seulement 150 milliards de tokens consommés. Les chiffres cités incluent 0,821 en score global GenEval, 83,44 pour l'alignement sur prompts longs DPG-Bench et 0,73 sur la dimension comptage de GenEval ; côté compréhension, VQAv2 72,6, MMBench 67,2, POPE 86,1, soit une moyenne de 75,3 sur ces trois derniers. Dans des comparaisons contrôlées à données, budget de paramètres et configuration d'optimisation identiques, l'article affirme qu'il dépasse globalement l'architecture hybride de type Transfusion et l'architecture entièrement discrète de type Chameleon sur GenEval, GQA, VQAv2 et MMBench. Sur le plan architectural, le texte est encodé par blocs de 8 tokens via un T5-small gelé pour former des super-blocs textuels ; l'image passe par un SigLIP2 gelé qui extrait une grille spatiale 16×16 formant des super-blocs visuels ; les deux sont ordonnés selon la tâche en une séquence multimodale envoyée dans un tronc Chunk-Causal Flow partagé. L'attention utilise un masque Chunk-Causal : pour prédire le k-ième super-bloc, les blocs précédents sont entièrement visibles, les positions du bloc courant sont modélisées conjointement et les blocs futurs sont masqués ; les couches d'attention sont partagées, les FFN séparés par modalité. À l'entraînement, plusieurs super-blocs cibles peuvent être prédits en parallèle, chacun échantillonnant indépendamment son pas de temps Flow ; à l'inférence, la génération est séquentielle bloc par bloc avec réutilisation du cache KV des blocs déjà produits. En changeant l'ordre des super-blocs et la direction de la cible, on bascule entre génération de texte, texte-vers-image, image-vers-texte et VQA avec le même jeu de paramètres. L'article rapporte aussi deux groupes d'ablations : pour la représentation visuelle, des caractéristiques sémantiques comme SigLIP2 et DINOv2 surpassent globalement les variables latentes FLUX.2 VAE, SD-VAE et les pixels bruts sur la génération et la description ; un même CFG peut agir simultanément sur le texte et l'image, l'échelle de guidage optimale étant d'environ 3 pour l'image-vers-texte et d'environ 5 pour le texte-vers-image. Côté transfert, un pré-entraînement mixte suivi d'un fine-tuning fait passer GenEval de 0,527 à 0,821, SEED-Bench de 31,6 à 62,4 et MMBench de 36,0 à 67,2, par rapport à un fine-tuning direct depuis une initialisation aléatoire. L'équipe indique vouloir étendre les travaux à des séquences image-texte entrelacées plus longues, à la vidéo et à d'autres modalités structurées ; l'article joint aussi un lien vers l'article scientifique et un dépôt de code GitHub.

Conséquences pour les développeurs

Pour les développeurs, l'intérêt direct de cette approche se situe au niveau de l'architecture, pas dans le fait qu'il existerait « un modèle performant de plus ». Les solutions hybrides doivent maintenir dans la même pile d'entraînement deux pertes et deux codes d'échantillonnage, diffusion et autorégressif, ce qui accroît la complexité d'ingénierie et la surface de réglage ; les solutions entièrement discrètes misent une partie de la qualité de génération sur le tokeniseur visuel. Le schéma décrit ramène les deux à un seul objectif Flow, réduit le nombre de fonctions objectif à maintenir et fait du changement de tâche une simple modification de l'ordre des super-blocs. Transposée dans son propre code, cette simplification épargne surtout de la complexité de pipeline de données et de logique d'échantillonnage, pas du calcul. Deuxième effet concret : le rôle des encodeurs d'entrée change. Le design rapporté gèle T5-small et SigLIP2, et le modèle n'apprend que le Flow entre super-blocs ; changer d'encodeur textuel ou visuel modifie donc directement les statistiques de la distribution d'entrée, et les ablations suggèrent que des caractéristiques visuelles sémantiques conviennent mieux à un modèle génératif unifié que des variables latentes de VAE orientées reconstruction. Si votre cas d'usage exige une reconstruction fidèle au niveau du pixel, les éléments de l'article ne s'y transposent pas directement. Troisième point : la forme de l'inférence. La génération bloc par bloc avec réutilisation du cache KV diffère à la fois du décodage purement autorégressif et de l'échantillonnage par diffusion ; le traitement par lots, la gestion du cache et la sortie en flux doivent être repensés. L'article ne donne ni débit, ni empreinte mémoire, ni latence, et l'échelle de 1,6 milliard de paramètres reste inférieure à celle des principaux modèles unifiés actuels : il est trop tôt pour en déduire un rapport coût-performance à plus grande échelle. Tout ce qui précède est une lecture d'ingénierie de l'article, pas une validation indépendante du schéma. Les chiffres de référence du MF-1 sont auto-déclarés par l'équipe, et les bases des comparaisons contrôlées ont elles aussi été exécutées dans la configuration d'entraînement de l'équipe.

Intégration et évaluation

Les trois points suivants sont des recommandations conditionnelles déduites de l'article, pas des conclusions vérifiées. Un : faut-il reconstruire sa propre pile d'entraînement multimodale unifiée sur ce squelette. Le changement revendiqué est de remplacer le double objectif hybride par un objectif Flow Matching partagé, et de dépasser les bases hybrides et entièrement discrètes à budget contrôlé. La décision à prendre : un nouveau projet doit-il adopter directement la structure Chunk-Causal Flow avec attention partagée et FFN séparés par modalité. La condition est de disposer en entrée d'un encodeur sémantique que l'on peut geler et de viser des indicateurs couvrant à la fois génération et compréhension image-texte ; si vous ne vous intéressez qu'à la qualité du texte pur, l'article ne couvre pas ce point. La vérification mesurable consiste à reproduire la même échelle : entraîner trois paliers à 0,6, 1,2 et 1,6 milliard de paramètres, et regarder si la perte de l'objectif Flow et la perplexité linguistique baissent ensemble, et si GenEval et le CLIPScore image-vers-texte progressent avec l'échelle ; si les quatre courbes divergent, l'objectif ne tient pas sur vos données. Deux : faut-il choisir des caractéristiques sémantiques ou des variables latentes de reconstruction pour l'entrée visuelle. L'ablation rapportée conclut qu'à budget d'entraînement égal, SigLIP2 et DINOv2 surpassent les latents FLUX.2 VAE, SD-VAE et les pixels bruts. Le choix est de geler un encodeur sémantique comme super-bloc visuel, ou de continuer avec des latents VAE branchés sur une tête de diffusion. La condition est que la tâche cible soit dominée par la génération et la description ; si la fidélité de reconstruction prime, cette conclusion ne se transpose pas. La méthode mesurable est un A/B à budget égal : indicateur principal le score global GenEval et le CLIPScore de description, plus une mesure d'erreur de reconstruction en contrôle croisé ; si celle-ci se dégrade nettement, il faut réarbitrer. Trois : comment configurer le mécanisme de guidage. L'article indique qu'un même CFG peut agir dans les deux sens sur le texte et l'image, avec une échelle optimale d'environ 3 pour l'image-vers-texte et d'environ 5 pour le texte-vers-image. Le choix est de ne plus maintenir deux implémentations de guidage et d'utiliser un seul CFG avec des échelles réglées par tâche. La condition est que votre objectif d'entraînement soit réellement un Flow unifié et non deux têtes indépendantes. La vérification mesurable est un balayage d'échelle : chercher le pic des indicateurs d'alignement (comme DPG-Bench) autour de 3 en image-vers-texte et de 5 en texte-vers-image, en enregistrant le coût en diversité ou en cohérence lorsque l'échelle monte, pour confirmer que le pic n'est pas obtenu au détriment d'un autre critère. Un point plus fondamental encore : clarifiez les poids et la licence avant d'investir. L'article renvoie à un article scientifique et à un dépôt de code ; il ne précise pas si des poids sont publiés ni sous quelle licence.

Limites et points à confirmer

Le MF-1 et Multimodal Flow décrits ici n'ont pas d'entrée correspondante dans le catalogue de modèles actuel de KimiSeek ; cette version n'est donc pas disponible sur KimiSeek. L'article ne mentionne aucune API hébergée, il n'existe donc aucune affirmation d'API fournisseur à citer ; si un service hébergé apparaissait plus tard, sa disponibilité et sa facturation relèveraient des indications du fournisseur et de la page de tarifs du site. Autres limites : l'article parle de « code open source » et renvoie à un dépôt de code, sans indiquer si les poids du modèle sont publiés ni quelles sont les clauses de licence ; l'accès au code ne signifie pas l'ouverture des poids, et encore moins l'obtention d'une licence open source. Tous les chiffres de référence, conclusions d'ablation et résultats de comparaisons contrôlées proviennent de l'équipe elle-même et de la retranscription de l'article ; ils n'ont pas été reproduits indépendamment, et les chiffres des bases ont été obtenus dans la configuration d'entraînement de l'équipe. L'échelle de 1,6 milliard de paramètres et 150 milliards de tokens est nettement inférieure à celle des principaux modèles unifiés actuels, et l'article lui-même la présente comme un point de départ ; on ignore si les conclusions tiennent à plus grande échelle. L'article ne fournit ni débit d'inférence, ni occupation mémoire, ni données de coût, ce qui ne permet pas de juger le gain réel apporté par la réutilisation du cache KV. La vidéo et les longues séquences entrelacées n'apparaissent que dans les projets futurs, sans résultats.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

不做Token化,也不搞双系统!多模态模型有了第三条路

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.