← Todas las noticias

Baidu abre los pesos de ERNIE 5.5 Flash Base: MoE de 280B, contexto ampliado a 1M y tres cosas que medir antes de integrarlo

Según un reportaje de Machine Heart del 5 de noviembre de 2026, Baidu publicó y abrió los pesos del modelo base preentrenado ERNIE 5.5 Flash Base: MoE disperso, 280B de parámetros totales, 14B activados por token, preentrenado con 33,5T tokens, contexto de entrenamiento de 128K ampliado a 1M en ajuste fino e inferencia, con pesos en FP8 y BF16 y recetas para vLLM y SGLang.

Publicado Actualizado

Qué ha cambiado

El 5 de noviembre de 2026, Machine Heart informó que Baidu publicó un nuevo modelo base, ERNIE 5.5 Flash Base, y abrió sus pesos. Las especificaciones del reportaje son: MoE disperso, 280B de parámetros totales, 14B activados por token, preentrenado desde cero con 33,5T tokens, contexto de entrenamiento de hasta 128K, ampliado a 1M de tokens en las etapas de ajuste fino e inferencia; Transformer de 43 capas, hidden size 4096, 64 cabezas de atención, y en todas las capas salvo la primera la red feed-forward es un bloque MoE. Los pesos se publicaron en Hugging Face en dos versiones, FP8 y BF16, y las comunidades de vLLM y SGLang ofrecen los cookbooks correspondientes. El reportaje destaca tres cambios de arquitectura. La atención combina MLA y HCA: de las 43 capas, solo 6 son MLA y conservan acceso a contexto completo a nivel de token, mientras que las otras 37 son atención de compresión fuerte (HCA), que comprime cada 128 tokens en una entrada de caché; las capas MLA incorporan además atención dispersa DSA, con un indexer ligero que elige para cada query las top-k posiciones históricas con mayor puntuación, y el reportaje afirma que su loss de preentrenamiento es equiparable al de la atención densa. Las capas MoE usan Multi-Router: varios routers sigmoid inicializados de forma independiente puntúan a la vez, cada bloque tiene 512 expertos enrutados y se seleccionan 10 por vez más 1 experto compartido, y los tokens se proyectan primero a un espacio latente de 2048 dimensiones para el cálculo y luego se vuelven a mapear. En el objetivo de entrenamiento, ECHO ya no añade un módulo MTP externo, sino que hace que la última capa del tronco asuma a la vez la predicción del token futuro y sirva en inferencia como draft integrado para decodificación especulativa. Hay además otros cambios: residual mHC, cabeza de salida MultiMax, un vocabulario BPE de unos 200K (con los números agrupados de tres en tres), etc.; el operador FlashMask-4 para head dim grande ya está abierto en el repositorio de PaddlePaddle. El reportaje señala que, en la comparación oficial, ERNIE 5.5 Flash Base supera en conjunto a DeepSeek-V4-Flash Base, Hy3-preview-Base y MiMo-V2.5-Base en benchmarks de conocimiento, razonamiento, matemáticas, código, multilingüe y contexto largo; en la comparación punto por punto con DeepSeek-V4-Flash-Base (284B de parámetros, 13B activados) la mayor diferencia está en código, con HumanEval+ de 82,3 frente a 69,5, LiveCodeBench de 40,1 frente a 31,9 y FullStackBench de 54,6 frente a 43,3, mientras que queda algo por detrás en unas pocas evaluaciones como ChineseSimpleQA. El reportaje añade que la versión oficial de ERNIE 5.5 Flash se espera pronto.

Impacto para desarrolladores

Se trata de una apertura de pesos, no del lanzamiento de un servicio listo para usar. El reportaje no contiene información sobre API, precios de alojamiento ni condiciones comerciales, ni indica el tipo de licencia; abrir los pesos y tener una licencia de código abierto son dos cosas distintas, y si se puede usar comercialmente o redistribuir debe comprobarse en la model card o en el texto de licencia del repositorio. Publicar los pesos significa que la dirección posterior queda en manos de quien los use: es un modelo Base y, según el reportaje, ya tiene capacidades generales completas, pero para convertirlo en un producto conversacional o capaz de ejecutar agentes hay que añadir por cuenta propia ajuste por instrucciones, aprendizaje por refuerzo o adaptación de dominio. Para la integración y el despliegue, el impacto más práctico está en dos puntos. El primero es la estructura de costes. HCA comprime el KV de la mayoría de las capas en una entrada por cada 128 tokens, y solo 6 capas MLA mantienen acceso token a token; la intención de diseño del reportaje es reducir el Pre-fill de contexto largo y el consumo de KV cache. Estimar memoria y concurrencia con la experiencia de la atención densa probablemente lleve a error; pero el comportamiento real de la atención comprimida en recuperación de grano fino también debe validarse en las propias tareas, y no puede deducirse directamente de que «los benchmarks de contexto largo sean en conjunto sólidos». El segundo es la ruta de inferencia. ECHO hace que la última capa del tronco sirva también como draft; el reportaje afirma que casi no añade parámetros y que la tasa de aceptación es superior a la de un MTP externo, pero que esta aceleración se active en la pila de inferencia utilizada y cómo se configure depende de la implementación de las recetas de vLLM/SGLang, no de que el modelo la active solo. Además, 280B de parámetros totales implica que, aunque solo se activen 14B por token, los pesos en sí siguen necesitando memoria de varias GPU; con una estimación aproximada de un byte por parámetro en FP8, solo los pesos quedan en el orden de varios cientos de GB, una cuenta que hay que hacer antes de desplegar. En el plano competitivo, el reportaje sitúa a ERNIE 5.5 Flash Base en el tramo Flash, y nombra como rivales del mismo tramo a DeepSeek-V4-Flash Base, Hy3-preview-Base y MiMo-V2.5-Base. Para los desarrolladores, contar con una base opcional más es positivo, pero todos los benchmarks del reportaje son autodeclarados por el fabricante y las versiones concretas de los objetos de comparación no pueden confirmarse en esta verificación; su valor de referencia está en la dirección, no en los valores absolutos.

Integración y evaluación

Lo que sigue son recomendaciones condicionales e inferencias, no hechos del reportaje. Decisión uno: empezar con los pesos FP8 o con los BF16. El hecho reportado correspondiente es que Baidu publicó ambas versiones, FP8 y BF16. Si tu objetivo es servir directamente al exterior y las tarjetas de destino tienen buen soporte de FP8, puedes empezar por FP8 para reducir memoria y ganar throughput; si vas a seguir preentrenando, hacer ajuste fino pesado o el hardware tiene soporte limitado de FP8, parte de BF16. La bifurcación es «solo inferencia» frente a «también entrenamiento». Criterio medible: elige un conjunto representativo de tus propias entradas, ejecuta la misma batería de evaluación sobre ambos pesos y registra el grado de coincidencia en las métricas de la tarea, el pico de memoria, la latencia del primer token y el throughput; decide después de cuantificar la pérdida de calidad, en lugar de dar por hecho que FP8 es sin pérdida. Decisión dos: si el contexto de 1M es un argumento de venta o una trampa. El hecho reportado es contexto de entrenamiento de 128K, ampliado a 1M en ajuste fino e inferencia. Si tu carga es preguntas sobre documentos largos, código a nivel de repositorio o contextos de agentes de ejecución prolongada, conviene hacer antes una prueba escalonada de longitud y luego fijar el límite; si solo son diálogos cortos o tareas de un turno, planificar el contexto dentro de 128K es más prudente. La bifurcación es si de verdad necesitas meter en una sola petición contenido muy por encima de 128K. Criterio medible: ejecuta un conjunto propio de recuperación o preguntas y respuestas en escalones de 32K, 128K, 256K y 1M, registra la precisión, la latencia del primer token y cómo cambia la memoria del KV con la longitud, y fija el límite tras encontrar el punto de inflexión en el que la precisión cae de forma clara. Decisión tres: usar ahora el Base para entrenar por tu cuenta o esperar a la versión oficial. El reportaje dice que la versión oficial se espera pronto, pero no da fecha ni especificaciones, así que en esencia se elige entre «datos y pipeline de entrenamiento ya disponibles» y «esperar un modelo Chat/Agente listo para usar». La condición es si tienes datos de dominio a escala y experiencia en post-entrenamiento; si no, el coste de entrenar tú mismo sobre el Base puede superar el beneficio. Criterio medible: haz una prueba pequeña con tus datos de SFT actuales, compárala en un conjunto de validación del dominio con el modelo que tienes en producción y mira si la mejora cubre de forma estable el coste de sustitución y operación. Si quieres hacer seguimiento continuo, hay tres cosas que vigilar: el texto de licencia de la model card, los parámetros de configuración reales de contexto largo y decodificación especulativa en las recetas de vLLM/SGLang, y si en el lanzamiento de la versión oficial se ofrece un criterio de evaluación coherente con el del Base.

Límites y cuestiones pendientes

La información de este artículo procede básicamente de la versión del fabricante: la descripción de la arquitectura, el diseño de routers y atención, el efecto de ECHO y la comparación punto por punto con modelos como DeepSeek-V4-Flash Base provienen de datos oficiales transmitidos por el reportaje, y no se han reproducido de forma independiente. Las versiones de los modelos rivales citados tampoco están dentro del alcance verificable, así que las cifras de los benchmarks deben tratarse como datos autodeclarados; además, la comparación es entre modelos Base, y sus conclusiones no pueden trasladarse directamente a las versiones Chat que cada empresa ya tiene en producción. En cuanto a licencia, el reportaje solo dice que se abren los pesos y no da el nombre de la licencia ni las condiciones de uso comercial o redistribución; poder descargar los pesos no equivale a poder usarlos sin restricciones, y antes de ponerlo en producción hay que comprobar la model card y el repositorio. El reportaje tampoco menciona API ni servicio alojado. ERNIE 5.5 Flash Base no está actualmente en el catálogo de modelos de KimiSeek; las direcciones de descarga y las recetas de inferencia mencionadas apuntan a Baidu y a las comunidades de vLLM y SGLang, y cualquier disponibilidad indicada en el reportaje corresponde al proveedor; si más adelante aparece un servicio alojado o una API, su disponibilidad y precio deben consultarse con el proveedor y en la página de precios de este sitio. Además, 1M es el alcance ampliado en las etapas de ajuste fino e inferencia, y el reportaje no explica el comportamiento de calidad a esa longitud: «seis benchmarks de contexto largo sólidos» no implica que se cumpla igual en tus tareas. La versión oficial aún no se ha publicado, así que sus capacidades y su alcance de apertura siguen siendo incógnitas.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

刚刚,百度开源全新预训练基模:文心 5.5 Flash Base 主打效率

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.