← Alle Modellneuigkeiten

Huazhong-Uni und Horizon: Multimodal Flow vereint Sprache und Vision in einem Flow-Ziel, 1,6B-MF-1 übertrifft laut eigenen Angaben hybride und vollständig diskrete Architekturen

Laut einem Bericht von Jiqizhixin vom 5. November 2026 hat das Team von Wang Xinggang an der Huazhong University of Science and Technology gemeinsam mit Horizon Robotics und weiteren Institutionen Multimodal Flow vorgestellt: Sprache und Vision behalten jeweils ihre kontinuierlichen Einbettungen und teilen sich ein gemeinsames Flow-Matching-Ziel. Das 1,6B-Modell MF-1 wurde von Grund auf vortrainiert und verbrauchte nur 150B Token; laut Bericht übertrifft es in kontrollierten Vergleichen mit gleichem Daten- und Parameterbudget hybride und vollständig diskrete Architekturen bei Metriken wie GenEval, GQA, VQAv2 und MMBench.

Veröffentlicht Aktualisiert

Was sich geändert hat

Laut einem Bericht von Jiqizhixin vom 5. November 2026 hat das Team von Wang Xinggang an der Huazhong University of Science and Technology gemeinsam mit Horizon Robotics und weiteren Institutionen Multimodal Flow vorgestellt, mit dem Anspruch, Sprache und Vision im kontinuierlichen Einbettungsraum einheitlich zu modellieren. Der Bericht ordnet frühere Ansätze zwei Kategorien zu: Der vollständig diskrete Ansatz (etwa Chameleon, Emu3) quantisiert Bilder zu diskreten Token, fügt sie mit Sprache zusammen und trainiert autoregressiv; er ist durch den visuellen Tokenizer begrenzt, und hochfrequente Details gehen bei der Quantisierung leicht verloren. Der hybride diskret-kontinuierliche Ansatz (etwa Transfusion, JanusFlow) sagt Text diskret vorher und erzeugt Bilder über kontinuierliche Diffusion; der Preis ist, dass zwei Zielfunktionen und zwei Sampling-Abläufe parallel gepflegt werden müssen, was die gemeinsame Optimierung erschwert. Multimodal Flow lässt Sprache und Vision jeweils ihre nativen kontinuierlichen Einbettungen behalten, teilt aber dasselbe Flow-Matching-Ziel. Das Team hat das Hauptmodell MF-1 mit 1,6B Parametern instanziiert; es wurde von Grund auf vortrainiert und verbrauchte nur 150B Token. Die im Bericht genannten Zahlen umfassen einen GenEval-Gesamtwert von 0,821, eine DPG-Bench-Ausrichtung bei langen Prompts von 83,44 und 0,73 in der GenEval-Dimension Zählen; auf der Verständnisseite VQAv2 72,6, MMBench 67,2 und POPE 86,1, im Mittel 75,3. In kontrollierten Vergleichen mit gleichem Datenumfang, gleichem Parameterbudget und gleicher Optimierungskonfiguration übertreffe es laut Bericht bei GenEval, GQA, VQAv2 und MMBench durchgängig die hybride Architektur im Transfusion-Stil und die vollständig diskrete Architektur im Chameleon-Stil. Architektonisch wird Text in Blöcken von jeweils 8 Token durch ein eingefrorenes T5-small zu Text-Superblöcken kodiert; Bilder werden von einem eingefrorenen SigLIP2 in 16×16-Raumgittermerkmale überführt, die visuelle Superblöcke bilden. Beide werden in aufgabenabhängiger Reihenfolge zu einer multimodalen Sequenz angeordnet und einem gemeinsamen Chunk-Causal-Flow-Backbone zugeführt. Die Attention verwendet eine Chunk-Causal-Maske: Bei der Vorhersage des k-ten Superblocks sind alle vorherigen Superblöcke sichtbar, Positionen innerhalb des aktuellen Blocks werden gemeinsam modelliert, zukünftige Superblöcke sind maskiert. Die Attention-Schichten sind geteilt, die FFN nach Modalität getrennt. Beim Training lassen sich mehrere Ziel-Superblöcke parallel vorhersagen, wobei für jeden Flow-Zeitschritte unabhängig gezogen werden; bei der Inferenz wird sequenziell Block für Block erzeugt und der KV-Cache der bereits fertigen Superblöcke wiederverwendet. Durch Ändern der Superblock-Reihenfolge und der Zielrichtung lassen sich Textgenerierung, Text-zu-Bild, Bild-zu-Text und VQA mit demselben Parametersatz umschalten. Der Bericht gibt außerdem zwei Ablationsgruppen wieder: Bei der visuellen Repräsentation schneiden semantische Merkmale wie SigLIP2 und DINOv2 bei Generierungs- und Beschreibungsaufgaben insgesamt besser ab als FLUX.2 VAE, SD-VAE-Latenten und Rohpixel; dasselbe CFG kann gleichzeitig auf Text und Bild wirken, wobei die beste Guidance-Skala für Bild-zu-Text bei etwa 3 und für Text-zu-Bild bei etwa 5 liegt. Bei der Übertragung stieg im Vergleich zwischen gemischtem Vortraining mit anschließendem Feintuning und direktem Feintuning aus zufälliger Initialisierung GenEval von 0,527 auf 0,821, SEED-Bench von 31,6 auf 62,4 und MMBench von 36,0 auf 67,2. Das Team kündigt an, später auf längere verschachtelte Bild-Text-Sequenzen, Video und andere strukturierte Modalitäten zu erweitern; der Bericht enthält außerdem die Paper-Adresse und einen Link zum GitHub-Code-Repository.

Auswirkungen für Entwickler

Die unmittelbare Bedeutung dieser Route für Entwickler liegt vor allem auf der Architekturebene, nicht darin, dass es „noch ein leistungsfähiges Modell“ gibt. Hybride Ansätze müssen im selben Trainings-Stack sowohl Diffusions- als auch autoregressive Verluste und Sampling-Code pflegen, was Engineering-Komplexität und Abstimmungsfläche vergrößert; vollständig diskrete Ansätze setzen einen Teil der Generierungsqualität auf den visuellen Tokenizer. Der beschriebene Ansatz fasst beides in einem Flow-Ziel zusammen, reduziert die Zahl der zu pflegenden Zielfunktionen und macht den Aufgabenwechsel zu einer Änderung der Superblock-Reihenfolge. Übertragen auf den eigenen Code spart eine solche Vereinfachung vor allem Komplexität in Datenpipeline und Sampling-Logik, nicht Rechenleistung. Der zweite konkrete Effekt betrifft die Rolle der vorgeschalteten Encoder. Das Design im Bericht friert T5-small und SigLIP2 ein; das Modell lernt nur den Flow zwischen Superblöcken. Ein Wechsel des Text- oder Bildencoders verändert damit direkt die statistischen Eigenschaften der Eingangsverteilung, und die Ablation deutet darauf hin, dass semantische Bildmerkmale für ein Unified-Generierungsmodell besser geeignet sind als rekonstruktive VAE-Latenten. Wer pixelgenau hohe Rekonstruktionstreue benötigt, kann die Evidenz aus dem Bericht nicht ohne Weiteres übertragen. Drittens die Inferenzform: Blockweise Generierung mit KV-Cache-Wiederverwendung unterscheidet sich sowohl von rein autoregressiver Dekodierung als auch von Diffusions-Sampling; Batching, Cache-Verwaltung und Streaming-Ausgabe müssen neu entworfen werden. Der Bericht nennt weder Durchsatz noch Speicherbedarf oder Latenz, und mit 1,6B ist der Maßstab zudem kleiner als bei aktuellen gängigen Unified-Modellen; eine Bewertung des Kosten-Nutzen-Verhältnisses in größerem Maßstab ist daher verfrüht. All dies ist eine technische Interpretation des Berichts, keine unabhängige Validierung des Ansatzes. Die Benchmark-Zahlen von MF-1 stammen aus den Angaben des Teams, und auch die Baselines in den kontrollierten Vergleichen liefen unter der eigenen Trainingskonfiguration des Teams.

Integration und Bewertung

Die folgenden drei Punkte sind aus dem Bericht abgeleitete, an Bedingungen geknüpfte Empfehlungen und keine verifizierten Schlussfolgerungen. 1. Soll der eigene Unified-Multimodal-Trainings-Stack nach diesem Grundgerüst neu aufgebaut werden? Die im Bericht behauptete Änderung besteht darin, ein gemeinsames Flow-Matching-Ziel an die Stelle der beiden Ziele des hybriden Ansatzes zu setzen und unter kontrolliertem Budget hybride sowie vollständig diskrete Baselines zu übertreffen. Die Entscheidung lautet: Soll ein neues Projekt direkt die Struktur aus Chunk-Causal Flow, geteilter Attention und modalitätsspezifischen FFN übernehmen? Voraussetzung ist, dass auf der Eingangsseite bereits ein einfrierbarer semantischer Encoder vorhanden ist und die nachgelagerten Metriken sowohl Bild-Text-Generierung als auch Verständnis abdecken; wer tatsächlich nur reine Textqualität betrachtet, findet dafür im Bericht keine Abdeckung. Eine messbare Prüfung besteht darin, dieselbe Skalierungsleiter nachzuvollziehen: drei Stufen mit 0,6B, 1,2B und 1,6B trainieren und prüfen, ob die Verluste des Flow-Ziels und die Sprach-PPL gemeinsam sinken und ob GenEval sowie der CLIPScore für Bild-zu-Text mit der Skalierung steigen; laufen die vier Kurven nicht in dieselbe Richtung, spricht das dafür, dass das Ziel auf euren Daten nicht trägt. 2. Visuelles Frontend: semantische Merkmale oder rekonstruktive Latenten? Die Ablation im Bericht kommt zu dem Ergebnis, dass SigLIP2 und DINOv2 bei gleichem Trainingsbudget besser abschneiden als FLUX.2 VAE, SD-VAE-Latenten und Rohpixel. Die Wahl besteht darin, entweder einen semantischen Encoder als visuellen Superblock einzufrieren oder weiterhin VAE-Latenten mit einem Diffusionskopf zu verwenden. Voraussetzung ist, dass die Zielaufgabe vor allem Generierung und Beschreibung umfasst; steht Rekonstruktionstreue im Vordergrund, lässt sich die Schlussfolgerung nicht einfach übertragen. Eine messbare Vorgehensweise ist ein A/B-Test unter gleichem Budget: GenEval-Gesamtwert und CLIPScore für Beschreibungsaufgaben als Hauptmetriken, ergänzt um einen Rekonstruktionsfehler als Gegenprüfung; verschlechtert sich dieser deutlich, muss neu abgewogen werden. 3. Wie sollte der Guidance-Mechanismus konfiguriert werden? Der Bericht gibt an, dass dasselbe CFG in beide Richtungen auf Text und Bild wirken kann und die beste Guidance-Skala für Bild-zu-Text bei etwa 3 sowie für Text-zu-Bild bei etwa 5 liegt. Die Wahl besteht darin, nicht mehr für beide Richtungen getrennte Guidance-Implementierungen zu pflegen, sondern ein CFG mit aufgabenspezifisch festgelegter Skala zu verwenden. Voraussetzung ist, dass das Trainingsziel tatsächlich ein einheitliches Flow-Ziel ist und nicht zwei separate Köpfe. Eine messbare Prüfung ist ein Sweep über die Skala: für Bild-zu-Text nahe 3 und für Text-zu-Bild nahe 5 die Spitzenwerte der Ausrichtungsmetriken (etwa DPG-Bench) suchen und zugleich festhalten, was eine höhere Skala an Diversität oder Konsistenz kostet, um zu prüfen, ob der Spitzenwert nicht durch Einbußen bei der jeweils anderen Eigenschaft erkauft ist. Noch grundlegender: Vor einem Einsatz sollten Gewichte und Lizenz geklärt werden. Der Bericht verweist auf ein Paper und ein Code-Repository; ob Gewichte veröffentlicht werden und unter welcher Lizenz, lässt er offen.

Grenzen und offene Fragen

Die hier beschriebenen MF-1 und Multimodal Flow haben keinen Eintrag im aktuellen Modellkatalog von KimiSeek; diese Version ist derzeit nicht auf KimiSeek gelistet. Der Bericht erwähnt auch keine gehostete API, daher gibt es keine belastbare Aussage zur API-Verfügbarkeit eines Anbieters. Sollte später ein Hosting-Dienst erscheinen, richten sich Verfügbarkeit und Abrechnung nach den Angaben des Anbieters und der Preisübersicht auf der Plattform. Weitere Einschränkungen: Der Bericht verwendet den Begriff „Open-Source-Code“ und verweist auf ein Code-Repository, sagt aber nicht, ob Modellgewichte veröffentlicht werden, und nennt keine Lizenzbedingungen; verfügbarer Code bedeutet weder offene Gewichte noch eine Open-Source-Lizenz. Alle hier genannten Benchmark-Zahlen, Ablationsergebnisse und kontrollierten Vergleiche stammen aus den Angaben des Teams und der Wiedergabe im Bericht; eine unabhängige Reproduktion hat nicht stattgefunden, und die Baseline-Zahlen entstanden unter der eigenen Trainingskonfiguration des Teams. Mit 1,6B Parametern und 150B Token ist der Maßstab deutlich kleiner als bei aktuellen gängigen Unified-Modellen; der Bericht selbst bezeichnet ihn nur als Ausgangspunkt, und ob die Schlussfolgerungen bei weiterer Skalierung gelten, ist offen. Der Bericht nennt weder Inferenzdurchsatz noch Speicherbedarf oder Kostendaten; wie groß der tatsächliche Beschleunigungseffekt der KV-Cache-Wiederverwendung ist, lässt sich nicht beurteilen. Modalitäten wie Video und lange verschachtelte Sequenzen erscheinen nur in Zukunftsplänen; Ergebnisse gibt es noch nicht.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

不做Token化,也不搞双系统!多模态模型有了第三条路

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.