← Todas las noticias

HUST y Horizon Robotics proponen Multimodal Flow: lenguaje y visión comparten un objetivo Flow; el MF-1 de 1,6B reporta superar arquitecturas híbridas y totalmente discretas

Según un reportaje del medio Machine Heart (机器之心) del 5 de noviembre de 2026, el equipo de Wang Xinggang, de la Universidad de Ciencia y Tecnología de Huazhong, y Horizon Robotics, junto con otras instituciones, propusieron Multimodal Flow: lenguaje y visión conservan cada uno embeddings continuos y comparten un mismo objetivo de Flow Matching. MF-1, de 1,6B, se preentrenó desde cero y consumió solo 150B tokens; el reporte afirma que, en una comparación controlada con el mismo presupuesto de datos y parámetros, supera a arquitecturas híbridas y totalmente discretas en métricas como GenEval, GQA, VQAv2 y MMBench.

Publicado Actualizado

Qué ha cambiado

Según un reportaje del medio Machine Heart (机器之心) del 5 de noviembre de 2026, el equipo de Wang Xinggang, de la Universidad de Ciencia y Tecnología de Huazhong, y Horizon Robotics, junto con otras instituciones, propusieron Multimodal Flow, que plantea unificar el modelado de lenguaje y visión en el espacio de embeddings continuos. El reporte agrupa los enfoques anteriores en dos clases: la ruta totalmente discreta (como Chameleon y Emu3) cuantiza las imágenes en tokens discretos y las concatena con el lenguaje para hacer autorregresión, pero queda limitada por el tokenizador visual y los detalles de alta frecuencia se pierden fácilmente en la cuantización; la ruta híbrida discreta-continua (como Transfusion y JanusFlow) usa predicción discreta para texto y difusión continua para imágenes, a costa de mantener dos funciones objetivo y dos flujos de muestreo, lo que dificulta la optimización conjunta. Multimodal Flow hace que ambos conserven sus embeddings continuos nativos, pero compartan un mismo objetivo de Flow Matching. El equipo instanció el modelo principal MF-1: 1,6B de parámetros, preentrenado desde cero y con un consumo de solo 150B tokens. Las cifras citadas incluyen GenEval global 0,821, alineación de prompts largos en DPG-Bench 83,44 y la dimensión de conteo de GenEval 0,73; en comprensión, VQAv2 72,6, MMBench 67,2 y POPE 86,1, con una media de 75,3 en las tres. En una comparación controlada con los mismos datos, presupuesto de parámetros y configuración de optimización, el reporte afirma que supera de forma integral a la arquitectura híbrida tipo Transfusion y a la totalmente discreta tipo Chameleon en GenEval, GQA, VQAv2 y MMBench. En la arquitectura, el texto se codifica en bloques de 8 tokens mediante un T5-small congelado para formar superbloques de texto; las imágenes pasan por un SigLIP2 congelado que extrae características de una cuadrícula espacial de 16×16 para formar superbloques visuales. Ambos se ordenan según la tarea en una secuencia multimodal que entra en un backbone compartido Chunk-Causal Flow. La atención usa una máscara Chunk-Causal: al predecir el k-ésimo superbloque, los anteriores son totalmente visibles, las posiciones dentro del bloque actual se modelan conjuntamente y los superbloques futuros quedan enmascarados; las capas de atención se comparten y la FFN se separa por modalidad. En entrenamiento se pueden predecir en paralelo varios superbloques objetivo, cada uno con su propio paso temporal de Flow muestreado de forma independiente; en inferencia se genera secuencialmente bloque a bloque y se reutiliza la caché KV de los superbloques ya completados. Cambiando el orden de los superbloques y la dirección objetivo, los mismos parámetros pasan de generación de texto a texto-a-imagen, imagen-a-texto y VQA. El reporte también recoge dos ablaciones: en representación visual, características semánticas como SigLIP2 y DINOv2 fueron en conjunto mejores que los latentes de FLUX.2 VAE y SD-VAE y que los píxeles originales en tareas de generación y descripción; un mismo CFG puede aplicarse a texto e imagen a la vez, con una escala de guía óptima de aproximadamente 3 para imagen-a-texto y de aproximadamente 5 para texto-a-imagen. En transferencia, preentrenar de forma mixta y luego ajustar fino, frente a ajustar directamente desde inicialización aleatoria, elevó GenEval de 0,527 a 0,821, SEED-Bench de 31,6 a 62,4 y MMBench de 36,0 a 67,2. El equipo afirma que más adelante lo extenderá a secuencias intercaladas de imagen y texto más largas, video y otras modalidades estructuradas; el reporte incluye además enlaces al artículo y al repositorio de código en GitHub.

Impacto para desarrolladores

El significado directo de esta ruta para los desarrolladores está sobre todo en la arquitectura, no en que haya otro modelo competitivo. Los enfoques híbridos deben mantener en el mismo stack de entrenamiento dos pérdidas y dos códigos de muestreo, difusión y autorregresión, lo que aumenta la complejidad de ingeniería y la superficie de ajuste; los totalmente discretos apuestan parte de la calidad de generación al tokenizador visual. El esquema descrito reduce ambos a un objetivo Flow, disminuye el número de funciones objetivo que hay que mantener y convierte el cambio de tarea en un reordenamiento de superbloques. Llevada a código propio, esta simplificación ahorra sobre todo complejidad en la canalización de datos y la lógica de muestreo, no cómputo. El segundo efecto concreto es que cambia el papel de los codificadores de entrada. El diseño del reporte congela T5-small y SigLIP2, y el modelo solo aprende el Flow entre superbloques; esto implica que cambiar el codificador de texto o de visión altera directamente las propiedades estadísticas de la distribución de entrada, y las ablaciones sugieren que las características visuales semánticas son más adecuadas que los latentes VAE de reconstrucción para un modelo generativo unificado. Si tu caso exige reconstrucción de alta fidelidad a nivel de píxel, la evidencia del reporte no puede extrapolarse directamente. El tercer punto es la forma de inferencia. La generación bloque a bloque con reutilización de caché KV no es del todo igual a la decodificación puramente autorregresiva ni al muestreo por difusión; el batching, la gestión de caché y la salida en streaming tendrían que rediseñarse. El reporte no ofrece cifras de throughput, memoria de GPU ni latencia, y el tamaño de 1,6B también es menor que el de los modelos unificados dominantes actuales, por lo que es prematuro juzgar su relación costo-beneficio a mayor escala. Todo lo anterior es una interpretación de ingeniería del contenido reportado, no una verificación independiente del esquema. Las cifras de referencia de MF-1 provienen del autoinforme del equipo, y las bases de la comparación controlada también se ejecutaron con la configuración de entrenamiento del propio equipo.

Integración y evaluación

Las tres recomendaciones siguientes son condicionales y se derivan del reporte; no son conclusiones verificadas. 1. Si conviene reconstruir el stack propio de entrenamiento multimodal unificado con este esqueleto. El cambio que el reporte atribuye al enfoque es sustituir el doble objetivo híbrido por un único objetivo compartido de Flow Matching y superar, con un presupuesto controlado, a las bases híbridas y totalmente discretas. La decisión es si un proyecto nuevo adopta directamente la estructura Chunk-Causal Flow con atención compartida y FFN separadas por modalidad. El requisito es tener ya un codificador semántico congelable en la entrada y que las métricas posteriores cubran tanto generación imagen-texto como comprensión; si solo te interesa la calidad de texto puro, el reporte no lo cubre. Una forma medible de validarlo es reproducir la misma escalera de tamaños: entrenar 0,6B, 1,2B y 1,6B y comprobar si la pérdida del objetivo Flow y la perplejidad de lenguaje bajan a la vez, y si GenEval y el CLIPScore de imagen-a-texto suben con la escala; si las cuatro curvas no van en la misma dirección, el objetivo no se sostiene con tus datos. 2. Elegir características semánticas o latentes de reconstrucción para el front-end visual. La conclusión de la ablación es que, con el mismo presupuesto de entrenamiento, SigLIP2 y DINOv2 superan a los latentes de FLUX.2 VAE y SD-VAE y a los píxeles originales. La opción es congelar un codificador semántico como superbloques visuales o seguir usando latentes VAE con una cabeza de difusión. El requisito es que la tarea objetivo se centre en generación y descripción; si prioriza la fidelidad de reconstrucción, esta conclusión no se puede trasladar tal cual. Un método medible es hacer un A/B con el mismo presupuesto: usar como métricas principales GenEval global y el CLIPScore de descripción, y añadir un error de reconstrucción como comprobación cruzada; si este último empeora claramente, hay que reconsiderar la elección. 3. Cómo configurar el mecanismo de guía. El reporte afirma que un mismo CFG puede actuar en ambas direcciones, sobre texto e imagen, con una escala óptima de aproximadamente 3 para imagen-a-texto y de aproximadamente 5 para texto-a-imagen. La opción es dejar de mantener implementaciones de guía separadas para las dos direcciones y usar un solo CFG con escalas definidas por tarea. El requisito es que el objetivo de entrenamiento sea realmente un Flow unificado y no dos cabezas independientes. Una validación medible es barrer la escala: buscar el pico de métricas de alineación, como DPG-Bench, cerca de 3 para imagen-a-texto y de 5 para texto-a-imagen, registrando al mismo tiempo el costo en diversidad o consistencia al subir la escala, para confirmar que el pico no se obtiene sacrificando otra métrica. Hay una cuestión más básica: antes de invertir, aclarar los pesos y la licencia. El reporte adjunta el artículo y el repositorio de código; no indica si se publican los pesos ni bajo qué licencia.

Límites y cuestiones pendientes

El MF-1 y Multimodal Flow descritos en este artículo no tienen una entrada correspondiente en el catálogo actual de modelos de KimiSeek, por lo que esta versión no está disponible en KimiSeek; el reporte tampoco menciona ninguna API alojada, así que no existe una afirmación de disponibilidad de API de un proveedor a la que remitirse. Si más adelante aparece un servicio alojado, su alcance de disponibilidad y su facturación se regirán por las indicaciones del proveedor y la página de precios del sitio. Otras limitaciones: el reporte habla de “código abierto” y adjunta un repositorio de código, pero no aclara si se publican los pesos del modelo ni ofrece términos de licencia; que el código sea accesible no equivale a que los pesos estén abiertos, y menos aún a haber obtenido una licencia de código abierto. Todas las cifras de benchmark, conclusiones de ablaciones y resultados de comparación controlada provienen del autoinforme del equipo y de la transcripción del reporte; este artículo no los ha reproducido de forma independiente, y las cifras de las bases también se obtuvieron con la configuración de entrenamiento del propio equipo. El tamaño de 1,6B de parámetros y 150B tokens es claramente menor que el de los modelos unificados dominantes actuales, y el propio reporte lo presenta solo como un punto de partida; no se sabe si las conclusiones se mantendrán al aumentar la escala. El reporte no ofrece datos de throughput de inferencia, uso de memoria de GPU ni costo, por lo que no se puede juzgar la aceleración real que aporta la reutilización de caché KV. Modalidades como video y secuencias intercaladas largas solo aparecen en planes futuros y aún no tienen resultados.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

不做Token化,也不搞双系统!多模态模型有了第三条路

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.