← 全部模型资讯

华科与地平线提出 Multimodal Flow:语言和视觉共享一个 Flow 目标,1.6B 的 MF-1 自报超过混合式与全离散架构

据机器之心 2026 年 11 月 5 日报道,华中科技大学王兴刚团队与地平线等机构提出 Multimodal Flow:语言与视觉各自保留连续嵌入,共享同一个 Flow Matching 目标。1.6B 的 MF-1 从零预训练、仅消耗 150B Token,报道称其在同等数据与参数预算的受控对比中,在 GenEval、GQA、VQAv2、MMBench 等指标上超过混合式与全离散架构。

发布 更新

发生了什么

据机器之心 2026 年 11 月 5 日报道,华中科技大学王兴刚团队与地平线机器人等机构合作提出 Multimodal Flow,主张在连续嵌入空间里统一建模语言和视觉。报道把此前的做法归为两类:全离散路线(如 Chameleon、Emu3)把图像量化成离散 Token 与语言拼在一起做自回归,受视觉分词器限制,高频细节在量化中容易丢失;混合离散-连续路线(如 Transfusion、JanusFlow)文本走离散预测、图像走连续扩散,代价是要同时维护两套目标函数与采样流程,联合优化更难。Multimodal Flow 让两者各自保留原生连续嵌入,但共享同一个 Flow Matching 目标。 团队实例化了主模型 MF-1:1.6B 参数,从零开始预训练,仅消耗 150B Token。报道给出的数字包括 GenEval 综合 0.821、DPG-Bench 长提示词对齐 83.44、GenEval 计数维度 0.73;理解侧 VQAv2 72.6、MMBench 67.2、POPE 86.1,三项平均 75.3。在同等数据、同等参数预算、同等优化配置的受控对比中,报道称其在 GenEval、GQA、VQAv2、MMBench 上全面超过 Transfusion 式混合架构和 Chameleon 式全离散架构。 架构上,文本按每 8 个 Token 一块经冻结的 T5-small 编码成文本超块,图像经冻结的 SigLIP2 提取 16×16 空间网格特征形成视觉超块,两者按任务顺序排成多模态序列送入共享的 Chunk-Causal Flow 骨干。注意力采用 Chunk-Causal 掩码:预测第 k 个超块时前面超块全可见、当前块内位置联合建模、未来超块被遮蔽;注意力层共享、FFN 按模态分开。训练时可并行预测多个目标超块、各自独立采样 Flow 时间步,推理时顺序逐块生成并复用已完成超块的 KV 缓存。改变超块排列顺序与目标方向,即可在文本生成、文生图、图生文和 VQA 之间切换同一套参数。 报道还转述了两组消融:视觉表示上,SigLIP2、DINOv2 这类语义特征在生成与描述任务上整体优于 FLUX.2 VAE、SD-VAE 潜变量和原始像素;同一个 CFG 可同时作用于文本和图像,图生文最佳引导尺度约 3、文生图约 5。迁移方面,先混合预训练再微调相比随机初始化直接微调,GenEval 从 0.527 提升到 0.821、SEED-Bench 从 31.6 到 62.4、MMBench 从 36.0 到 67.2。团队称后续会扩展到更长的交错图文序列、视频和其他结构化模态,报道同时附有论文地址与 GitHub 代码仓库链接。

对开发者的影响

这条路线对开发者的直接意义主要在架构层面,而不在“又多了个能打的模型”。混合式方案要在同一套训练栈里同时维护扩散与自回归两套损失和采样代码,工程复杂度和调参面都更大;全离散方案则把生成质量的一部分押在视觉分词器上。报道描述的方案把两者收成一个 Flow 目标,需要维护的目标函数数量减少,任务切换也退化成改变超块顺序。这类简化落到自己的代码里,省下的主要是数据管线和采样逻辑的复杂度,而不是算力。 第二个具体影响是前端编码器的角色变了。报道中的设计冻结了 T5-small 与 SigLIP2,模型只学超块之间的 Flow;这意味着换文本或视觉编码器会直接改变输入分布的统计特性,而消融结果提示语义型视觉特征比重建型 VAE 潜变量更适合统一生成模型。如果你的场景要求像素级高保真重建,报道里的证据并不能直接外推。 第三是推理形态。逐块生成加 KV 缓存复用,与纯自回归解码和扩散采样都不完全一样,批处理、缓存管理和流式输出都得重新设计。报道没有给出吞吐、显存或延迟数字,1.6B 的规模也小于当前主流统一模型,据此判断更大规模下的性价比为时过早。 以上都是对报道内容的工程解读,不是对方案的独立验证。MF-1 的基准数字来自团队自报,受控对比中的基线也是在团队自己的训练配置下跑的。

接入与评估建议

以下三条是基于报道推演的条件性建议,不是已验证的结论。 一、要不要按这个骨架重建自己的统一多模态训练栈。报道宣称的变化是用一个共享 Flow Matching 目标替代混合式的双目标,并在受控预算下超过混合式与全离散基线。要做的选择是:新项目是否直接采用 Chunk-Causal Flow 加共享注意力、模态各自 FFN 的结构。前提是你的输入侧已有可冻结的语义编码器,且下游指标同时关注图文生成与理解;如果你实际只关心纯文本质量,报道没有覆盖这一点。可度量的验证方式是复现同一套规模阶梯:训练 0.6B、1.2B、1.6B 三档,看 Flow 目标损失与语言 PPL 是否同步下降,同时 GenEval 与图生文的 CLIPScore 是否随规模上升;四条曲线不同向,就说明这套目标在你的数据上不成立。 二、视觉前端选语义特征还是重建型潜变量。报道的消融结论是相同训练预算下 SigLIP2、DINOv2 优于 FLUX.2 VAE、SD-VAE 潜变量和原始像素。选择是先冻结一个语义编码器作为视觉超块,还是继续用 VAE 潜变量接扩散头。前提是目标任务以生成和描述为主;如果重建保真优先,这条结论不能照搬。可度量的做法是同等预算下做 A/B:以 GenEval 综合分和描述类 CLIPScore 为主指标,另加一项重建误差做交叉检查,后者明显劣化就要重新权衡。 三、引导机制怎么配。报道称同一个 CFG 可双向作用于文本和图像,图生文最佳引导尺度约 3、文生图约 5。选择是不再为两个方向维护各自的引导实现,改用一套 CFG 加按任务设定的尺度。前提是你的训练目标确实是统一的 Flow,而不是两个独立的头。可度量的验证是按尺度扫一遍:图生文在 3 附近、文生图在 5 附近去取对齐类指标(如 DPG-Bench)的峰值,同时记录尺度升高时多样性或一致性的代价,确认峰值不是牺牲另一项换来的。 还有一条更基础的:投入前先把权重和许可问清楚。报道附带的是论文与代码仓库,是否放出权重、以什么许可放出,报道没有交代。

限制与待确认事项

本文所述的 MF-1 与 Multimodal Flow 在 KimiSeek 当前模型目录中没有对应条目,该版本目前未上架 KimiSeek;报道也没有提到任何托管 API,因此不存在可指向的厂商 API 可用性说法,若之后出现托管服务,其可用范围与计费以厂商说明和站内定价页为准。 另外几点限制:报道的用词是“开源代码”,附的是代码仓库,未说明是否放出模型权重,也未给出许可条款;代码可获取不等于权重开放,更不等于获得了开源许可。文中所有基准数字、消融结论与受控对比结果均来自团队自报和报道转述,本文没有独立复现,基线数字也是在团队自己的训练配置下得到的。1.6B 参数、150B Token 的规模明显小于当前主流统一模型,报道本身也只把它称为起点,规模继续放大后结论是否成立未知。报道没有给出推理吞吐、显存占用或成本数据,KV 缓存复用带来的实际加速幅度无法判断。视频与长交错序列等模态只出现在未来计划里,尚无结果。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

不做Token化,也不搞双系统!多模态模型有了第三条路

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。