← すべてのニュース

華中科技大学と地平線がMultimodal Flowを提案、言語と視覚が1つのFlow目標を共有、1.6BのMF-1は混合型・全離散アーキテクチャを上回るとチームが自己報告

機器之心の2026年11月5日の報道によると、華中科技大学の王興剛チームと地平線ロボティクスなどの機関がMultimodal Flowを提案した。言語と視覚はそれぞれ連続埋め込みを保持し、同じFlow Matching目標を共有する。1.6BのMF-1はゼロから事前学習し、150Bトークンのみを消費した。報道によれば、同一データ・同一パラメータ予算の統制比較で、GenEval、GQA、VQAv2、MMBenchなどの指標において混合型および全離散アーキテクチャを上回ったという。

公開 更新

主な変更

機器之心の2026年11月5日の報道によると、華中科技大学の王興剛チームと地平線ロボティクスなどの機関が、言語と視覚を連続埋め込み空間で統一してモデル化するMultimodal Flowを共同で提案した。報道は従来の手法を2種類に分類している。全離散路線(Chameleon、Emu3など)は画像を離散トークンに量子化し、言語と並べて自己回帰する。視覚トークナイザーに制約され、高周波の細部が量子化で失われやすい。混合離散・連続路線(Transfusion、JanusFlowなど)はテキストを離散予測、画像を連続拡散で扱うが、2つの目的関数とサンプリング手順を同時に維持する必要があり、共同最適化が難しい。Multimodal Flowは両者がそれぞれ本来の連続埋め込みを保持しつつ、同じFlow Matching目標を共有する。 チームは主モデルMF-1を実装した。1.6Bパラメータで、ゼロから事前学習し、150Bトークンのみを消費する。報道が示した数値には、GenEval総合0.821、DPG-Benchの長いプロンプト整合性83.44、GenEvalのカウント次元0.73がある。理解側はVQAv2 72.6、MMBench 67.2、POPE 86.1で、3項目平均75.3だ。同一データ、同一パラメータ予算、同一最適化設定の統制比較では、GenEval、GQA、VQAv2、MMBenchでTransfusion型の混合アーキテクチャとChameleon型の全離散アーキテクチャを全面的に上回ったと報道は伝えている。 アーキテクチャでは、テキストは8トークンごとの塊を凍結したT5-smallで符号化してテキストのスーパーチャンクとし、画像は凍結したSigLIP2で16×16の空間グリッド特徴を抽出して視覚スーパーチャンクを形成する。両方をタスク順に並べてマルチモーダル系列とし、共有のChunk-Causal Flowバックボーンに入力する。アテンション機構はChunk-Causalマスクを採用する。第kスーパーチャンクを予測するとき、前のスーパーチャンクはすべて可視、現在のチャンク内の位置は共同でモデル化し、未来のスーパーチャンクはマスクする。アテンション層は共有し、FFNはモダリティごとに分ける。学習時は複数の目標スーパーチャンクを並列に予測でき、それぞれ独立にFlowタイムステップをサンプリングする。推論時は順番にスーパーチャンクを生成し、完了したスーパーチャンクのKVキャッシュを再利用する。スーパーチャンクの並び順と目標方向を変えるだけで、テキスト生成、テキストから画像、画像からテキスト、VQAの間で同じパラメータ群を切り替えられる。 報道は2組のアブレーションも伝えている。視覚表現では、SigLIP2やDINOv2のような意味特徴が、生成と記述のタスク全般でFLUX.2 VAE、SD-VAEの潜在変数、生のピクセルよりも優れていた。同じCFGをテキストと画像の両方に作用させられ、画像からテキストでは最適なガイダンススケールが約3、テキストから画像では約5だった。転移の面では、混合事前学習してから微調整する方が、ランダム初期化から直接微調整するより、GenEvalが0.527から0.821、SEED-Benchが31.6から62.4、MMBenchが36.0から67.2に向上した。チームは今後、画像とテキストが交互に並ぶより長い系列、動画、その他の構造化モダリティに拡張するとしている。報道には論文へのリンクとGitHubコードリポジトリへのリンクも添えられている。

開発者への影響

この路線の開発者にとっての直接的な意味は主にアーキテクチャ層にあり、「また強いモデルが増えた」ということではない。ハイブリッド方式は同一の学習スタックで拡散と自己回帰の2種類の損失とサンプリングコードを維持する必要があり、エンジニアリングの複雑さと調整範囲が大きい。全離散方式は生成品質の一部を視覚トークナイザーに託す。報道が描く方式は両者を1つのFlow目標にまとめ、維持する目的関数の数を減らし、タスク切り替えもスーパーチャンクの順序変更に還元される。この種の単純化を自分のコードに落とすと、主にデータパイプラインとサンプリングロジックの複雑さが減り、計算資源が減るわけではない。 第二の具体的な影響はフロントエンドのエンコーダの役割が変わることだ。報道の設計ではT5-smallとSigLIP2を凍結し、モデルはスーパーチャンク間のFlowだけを学ぶ。これはテキストや視覚のエンコーダを替えると入力分布の統計特性が直接変わることを意味し、アブレーション結果は意味型の視覚特徴が再構築型VAE潜在変数よりも統一生成モデルに適することを示唆する。ピクセル単位の高忠実度再構築が要件なら、報道の証拠を直接外挿することはできない。 第三は推論形態だ。スーパーチャンク単位の生成とKVキャッシュ再利用は、純粋な自己回帰デコードとも拡散サンプリングとも完全には同じではない。バッチ処理、キャッシュ管理、ストリーミング出力を再設計する必要がある。報道にはスループット、GPUメモリ、レイテンシの数値はなく、1.6Bという規模も現在の主流の統一モデルより小さい。これに基づいて大規模化した際のコストパフォーマンスを判断するのは早すぎる。 以上は報道内容に対する工学的な解釈であり、方式の独立した検証ではない。MF-1のベンチマーク数値はチームの自己報告であり、統制比較のベースラインもチーム自身の学習設定で実行されたものだ。

導入と評価の提案

以下は報道からの推論に基づく条件付きの提案であり、検証済みの結論ではない。 第一に、この骨格で自社の統一マルチモーダル学習スタックを作り直すかどうかだ。報道が主張する変化は、共有のFlow Matching目標でハイブリッド型の二重目標を置き換え、同一予算の統制比較でハイブリッド型と全離散型のベースラインを上回るというものだ。選ぶべきは、新規プロジェクトでChunk-Causal Flowと共有アテンション、モダリティ別FFNの構造を直接採用するかどうか。前提は、入力側に凍結可能な意味エンコーダがあり、下流指標が画像・テキスト生成と理解の両方を見ていることだ。純粋なテキスト品質だけに関心がある場合、報道はそこをカバーしていない。測定可能な検証は同じ規模ラダーを再現することだ。0.6B、1.2B、1.6Bの3段階を学習し、Flow目標の損失と言語PPLが同時に下がるか、GenEvalと画像からテキストのCLIPScoreが規模とともに上がるかを見る。4本の曲線が同じ方向にそろわなければ、この目標は自分のデータでは成立しない。 第二に、視覚フロントエンドに意味特徴を選ぶか、再構築型潜在変数を選ぶかだ。報道のアブレーション結論は、同じ学習予算でSigLIP2とDINOv2がFLUX.2 VAE、SD-VAE潜在変数、生ピクセルより優れるというものだ。選ぶべきは、意味エンコーダを凍結して視覚スーパーチャンクとするか、VAE潜在変数を拡散ヘッドに接続し続けるか。前提は、対象タスクが生成と記述を主とする場合だ。再構築の忠実度を優先するなら、この結論をそのまま当てはめられない。測定可能な方法は、同一予算でA/Bテストを行い、GenEval総合スコアと記述系CLIPScoreを主指標にし、再構築誤差をクロスチェックとして加えることだ。後者が明らかに悪化するなら再検討が必要になる。 第三に、ガイダンス機構をどう設定するかだ。報道では同じCFGをテキストと画像の両方向に作用させられ、画像からテキストの最適ガイダンススケールは約3、テキストから画像は約5とされる。選ぶべきは、2方向それぞれのガイダンス実装を維持するのをやめ、1つのCFGとタスク別スケールに切り替えることだ。前提は、学習目標が本当に統一されたFlowであり、2つの独立したヘッドではないことだ。測定可能な検証は、ガイダンススケールを一通り振り、画像からテキストでは3付近、テキストから画像では5付近で整合性指標(例:DPG-Bench)のピークを取り、スケールを上げたときの多様性や一貫性のコストを記録して、ピークが別の項目を犠牲にしたものではないと確認することだ。 さらに基本的な点として、投入前に重みとライセンスを明確にする必要がある。報道に添付されているのは論文とコードリポジトリで、重みを公開するか、どのライセンスで公開するかは報道で説明されていない。

制限と未確認事項

本稿で述べたMF-1とMultimodal Flowは、KimiSeekの現在のモデルカタログに対応する項目がなく、このバージョンは現時点でKimiSeekに掲載されていない。報道はホスト型APIにも触れていないため、指し示せるベンダーAPIの可用性の記述は存在しない。将来ホスト型サービスが現れた場合、その利用可能な範囲と課金はベンダーの説明およびサイト内の価格ページに従う。 その他の制限:報道の表現は「オープンソースコード」で、添付されているのはコードリポジトリであり、モデルの重みを公開するか、ライセンス条項を示すかは明らかにしていない。コードが入手可能であることは、重みが公開されていることを意味せず、ましてオープンソースライセンスを取得したことにもならない。本文中のすべてのベンチマーク数値、アブレーション結論、統制比較の結果はチームの自己報告と報道の紹介に由来し、本稿は独立に再現していない。ベースラインの数値もチーム自身の学習設定で得られたものだ。1.6Bパラメータ、150Bトークンという規模は現在の主流の統一モデルより明らかに小さく、報道自体もこれを出発点と呼んでいる。規模をさらに広げた後に結論が成立するかは不明だ。報道には推論スループット、GPUメモリ使用量、コストのデータはなく、KVキャッシュ再利用による実際の高速化幅は判断できない。動画や長いインターリーブ系列などのモダリティは将来計画にのみ登場し、結果はまだない。

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

不做Token化,也不搞双系统!多模态模型有了第三条路

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。