← Toutes les actualités

Baidu ouvre les poids d'ERNIE 5.5 Flash Base : MoE de 280B, contexte étendu à 1M, trois points à mesurer avant l'adoption

Selon un article de Machine Heart du 5 novembre 2026, Baidu a publié et ouvert les poids de son modèle de base pré-entraîné ERNIE 5.5 Flash Base : MoE clairsemé, 280B de paramètres au total, 14B activés par token, pré-entraînement sur 33,5T tokens, contexte d'entraînement de 128K étendu à 1M en fine-tuning et en inférence, avec des poids en FP8 et BF16 et des recettes vLLM et SGLang.

Publication Mise à jour

Ce qui change

Le 5 novembre 2026, Machine Heart a rapporté que Baidu a publié une nouvelle génération de modèle de base, ERNIE 5.5 Flash Base, et en a ouvert les poids. Les spécifications rapportées sont les suivantes : MoE clairsemé, 280B de paramètres au total, 14B activés par token, pré-entraînement à partir de zéro sur 33,5T tokens, contexte d'entraînement allant jusqu'à 128K, étendu à 1M tokens en fine-tuning et en inférence ; Transformer de 43 couches, taille cachée de 4096, 64 têtes d'attention, les réseaux feed-forward de toutes les couches sauf la première étant des blocs MoE. Les poids sont disponibles sur Hugging Face en deux versions, FP8 et BF16, et les communautés vLLM et SGLang ont fourni les cookbooks correspondants. L'article détaille trois changements d'architecture. L'attention combine MLA et HCA : sur les 43 couches, seules 6 sont des MLA conservant un accès au contexte complet au niveau du token, les 37 autres étant des HCA (attention fortement compressée) qui compressent chaque bloc de 128 tokens en une seule entrée de cache ; les couches MLA ajoutent en outre une attention clairsemée DSA, avec un indexeur léger qui sélectionne pour chaque requête les top-k positions historiques les mieux notées, l'article indiquant que la perte de pré-entraînement reste équivalente à celle d'une attention dense. Les couches MoE utilisent un Multi-Router : plusieurs routeurs sigmoïdes initialisés indépendamment notent simultanément, chaque bloc comptant 512 experts routés, avec 10 experts sélectionnés plus 1 expert partagé à chaque fois, le token étant d'abord projeté dans un espace latent de dimension 2048 pour le calcul puis reprojeté. Côté objectif d'entraînement, ECHO n'ajoute plus de module MTP externe : la dernière couche du backbone prend en charge la prédiction du token suivant et sert aussi, à l'inférence, de draft intégré pour le décodage spéculatif. S'y ajoutent des résidus mHC, une tête de sortie MultiMax, un vocabulaire BPE d'environ 200K (chiffres découpés par groupes de trois), etc. ; l'opérateur FlashMask-4 destiné aux grandes dimensions de tête est déjà open source dans le dépôt PaddlePaddle. Selon l'article, dans les comparaisons officielles, ERNIE 5.5 Flash Base devance globalement DeepSeek-V4-Flash Base, Hy3-preview-Base et MiMo-V2.5-Base sur les benchmarks de connaissances, de raisonnement, de mathématiques, de code, multilingues et de contexte long ; face à DeepSeek-V4-Flash-Base (284B paramètres, 13B activés), l'écart le plus marqué concerne le code, avec 82,3 contre 69,5 sur HumanEval+, 40,1 contre 31,9 sur LiveCodeBench et 54,6 contre 43,3 sur FullStackBench, tandis que le modèle est légèrement en retrait sur quelques évaluations comme ChineseSimpleQA. L'article indique aussi que la version finale d'ERNIE 5.5 Flash devrait sortir prochainement.

Conséquences pour les développeurs

Il s'agit d'une ouverture de poids, pas d'un service directement appelable. L'article ne mentionne ni API lancée, ni tarif d'hébergement, ni conditions commerciales, pas plus que le type de licence ; poids ouverts et licence open source sont deux choses différentes, et l'usage commercial comme la redistribution dépendent du texte de licence figurant sur la fiche du modèle ou dans le dépôt. Publier les poids signifie que la suite est laissée à l'utilisateur : il s'agit d'un modèle Base, dont l'article dit qu'il possède déjà des capacités générales complètes, mais pour en faire un produit conversationnel ou capable de faire tourner des agents, il faut y ajouter soi-même du fine-tuning instructif, de l'apprentissage par renforcement ou une adaptation métier. Pour l'intégration et le déploiement, deux points comptent le plus. D'abord la structure de coûts. HCA compresse le KV de la plupart des couches en une entrée de 128 tokens, seules 6 couches MLA conservant un accès token par token, l'intention affichée étant de réduire le pre-fill en contexte long et l'empreinte du cache KV. Estimer la mémoire GPU et la concurrence à partir de l'expérience d'une attention dense risque donc de donner un résultat faux ; mais la performance réelle de cette attention compressée sur de la recherche fine doit aussi être vérifiée sur vos propres tâches, sans la déduire directement du fait que les benchmarks de contexte long restent globalement solides. Ensuite, le chemin d'inférence. ECHO fait de la dernière couche du backbone un draft, ce qui, selon l'article, n'ajoute presque pas de paramètres et offre un taux d'acceptation supérieur à un MTP externe ; mais l'activation ou non de cette accélération et sa configuration dépendent de l'implémentation des recettes vLLM/SGLang, et non d'un effet automatique du modèle. Les 280B paramètres au total signifient aussi que même avec 14B activés par token, les poids exigent de la mémoire sur plusieurs cartes ; avec une estimation grossière d'environ un octet par paramètre en FP8, les poids seuls se chiffrent en centaines de Go, un calcul à faire avant tout déploiement. Sur le plan concurrentiel, l'article classe ERNIE 5.5 Flash Base dans le segment Flash, avec comme rivaux cités DeepSeek-V4-Flash Base, Hy3-preview-Base et MiMo-V2.5-Base. Pour les développeurs, disposer d'un modèle de base supplémentaire est une bonne chose, mais tous les benchmarks cités sont auto-déclarés par le fournisseur, et la version précise des modèles de comparaison n'a pas pu être confirmée dans cette vérification ; leur valeur est indicative, pas absolue.

Intégration et évaluation

Ce qui suit est constitué de recommandations conditionnelles et de déductions, et non de faits rapportés. Choix 1 : commencer avec les poids FP8 ou BF16. Le fait rapporté correspondant est que Baidu publie les deux versions, FP8 et BF16. Si votre objectif est de servir directement des utilisateurs et que vos cartes prennent bien en charge le FP8, vous pouvez partir sur le FP8 pour économiser de la mémoire et gagner en débit ; si vous devez poursuivre le pré-entraînement, faire un fine-tuning lourd, ou si le matériel gère mal le FP8, partez du BF16. Le point de bascule est « inférence seule » contre « entraînement en plus ». Critère mesurable : choisissez un jeu d'entrées représentatives, faites tourner la même évaluation sur les deux poids, notez la cohérence des métriques de tâche ainsi que le pic de mémoire, la latence du premier token et le débit, puis décidez après avoir quantifié la perte de qualité, au lieu de supposer que le FP8 est sans perte. Choix 2 : le contexte de 1M est-il un argument ou un piège. Le fait rapporté correspondant est un contexte d'entraînement de 128K, étendu à 1M en fine-tuning et en inférence. Si votre charge de travail est du question-réponse sur documents longs, du code à l'échelle d'un dépôt ou du contexte d'agent longue durée, commencez par un test en paliers de longueur avant de fixer la limite ; s'il s'agit seulement de courtes conversations ou de tâches en un tour, planifier le contexte sous 128K est plus prudent. Le point de bascule est la nécessité réelle d'insérer bien plus de 128K de contenu dans une seule requête. Critère mesurable : faites tourner votre propre jeu de recherche ou de question-réponse à 32K, 128K, 256K et 1M, enregistrez l'évolution de la précision, de la latence du premier token et de la mémoire KV avec la longueur, et fixez la limite au point où la précision décroche nettement. Choix 3 : entraîner soi-même à partir du Base dès maintenant, ou attendre la version finale. L'article indique que la version finale doit sortir prochainement, sans donner de date ni de spécifications ; il s'agit donc essentiellement de choisir entre « des données et un pipeline d'entraînement déjà en place » et « attendre un modèle Chat/Agent prêt à l'emploi ». La condition est de savoir si vous disposez de données métier à l'échelle et d'une expérience de post-entraînement ; sinon, entraîner soi-même depuis le Base peut coûter plus qu'il ne rapporte. Critère mesurable : lancez un petit essai avec vos données SFT existantes et comparez, sur un ensemble de validation métier, avec le modèle actuellement en production, pour voir si le gain couvre durablement le coût de remplacement et d'exploitation. Pour suivre le sujet dans la durée, trois points méritent l'attention : le texte de licence sur la fiche du modèle, les paramètres réels de contexte long et de décodage spéculatif dans les recettes vLLM/SGLang, et le fait de savoir si, lors de la publication de la version finale, un protocole d'évaluation cohérent avec celui du Base sera fourni.

Limites et points à confirmer

Les informations de cet article proviennent essentiellement du fournisseur : la description de l'architecture, la conception du routage et de l'attention, l'effet d'ECHO, ainsi que les comparaisons point par point avec des modèles comme DeepSeek-V4-Flash Base, relèvent de données officielles rapportées par l'article et n'ont pas été reproduites de façon indépendante ici. La version des modèles concurrents cités ne peut pas non plus être vérifiée, et les chiffres de benchmark doivent être considérés comme auto-déclarés ; de plus, la comparaison porte sur des modèles Base, dont les conclusions ne sont pas directement transposables aux versions Chat déjà en ligne de chaque éditeur. Côté licence, l'article parle seulement d'une ouverture des poids, sans nom de licence ni clauses d'usage commercial ou de redistribution : des poids téléchargeables ne signifient pas un usage libre, et il faut vérifier la fiche du modèle et le dépôt avant tout déploiement. L'article ne mentionne pas non plus d'API ni de service hébergé. ERNIE 5.5 Flash Base ne figure pas actuellement dans le catalogue de modèles de KimiSeek ; les adresses de téléchargement et les recettes d'inférence mentionnées renvoient à Baidu ainsi qu'aux communautés vLLM et SGLang, et toute disponibilité rapportée relève du fournisseur ; si un service hébergé ou une API apparaît ensuite, sa disponibilité et son prix devront être vérifiés auprès du fournisseur et sur la page tarifaire de ce site. Par ailleurs, 1M correspond à l'extension en fine-tuning et en inférence, et l'article ne dit rien de la qualité à cette longueur : six benchmarks de contexte long globalement solides ne garantissent pas qu'il en ira de même sur vos tâches. La version finale n'est pas encore publiée, et ses capacités comme l'étendue de son ouverture restent inconnues.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

刚刚,百度开源全新预训练基模:文心 5.5 Flash Base 主打效率

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.