Baidu gibt Gewichte von ERNIE 5.5 Flash Base frei: 280B MoE, Kontext auf 1M erweitert – drei Dinge vor dem Anschluss messen
Laut einem Bericht von Machine Heart (机器之心) vom 5. November 2026 hat Baidu das vortrainierte Basismodell ERNIE 5.5 Flash Base veröffentlicht und die Gewichte freigegeben: spärliches MoE, 280B Parameter insgesamt, 14B pro Token aktiviert, vortrainiert auf 33,5T Tokens, Trainingskontext 128K, in Feinabstimmung und Inferenz auf 1M erweitert, dazu FP8- und BF16-Gewichte sowie Rezepte für vLLM und SGLang.
Was sich geändert hat
Am 5. November 2026 berichtete Machine Heart, dass Baidu das neue Basismodell ERNIE 5.5 Flash Base vorgestellt und die Gewichte freigegeben hat. Die im Bericht genannten Spezifikationen: spärliches MoE, 280B Parameter insgesamt, 14B pro Token aktiviert, von Grund auf auf 33,5T Tokens vortrainiert, Trainingskontext bis 128K, in Feinabstimmung und Inferenz auf 1M Tokens erweitert; 43 Transformer-Schichten, Hidden Size 4096, 64 Attention-Heads, alle Feed-Forward-Netze außer der ersten Schicht sind MoE-Blöcke. Die Gewichte liegen in zwei Versionen, FP8 und BF16, auf Hugging Face; die Communitys von vLLM und SGLang stellen entsprechende Cookbooks bereit. Der Bericht hebt drei Architekturänderungen hervor. Bei der Attention werden MLA und HCA gemischt: Von den 43 Schichten sind nur 6 MLA-Schichten, die den vollständigen Token-genauen Kontextzugriff behalten, die übrigen 37 sind stark komprimierende HCA-Schichten, die je 128 Tokens zu einem Cache-Eintrag verdichten; in den MLA-Schichten kommt zusätzlich die spärliche Attention DSA hinzu, bei der ein leichter Indexer für jede Query die am höchsten bewerteten Top-k-Positionen aus der Vergangenheit auswählt – laut Bericht liegt die Pretraining-Loss damit auf dem Niveau dichter Attention. Die MoE-Schichten nutzen Multi-Router: mehrere unabhängig initialisierte Sigmoid-Router bewerten parallel, pro Block 512 geroutete Experten, pro Durchlauf werden 10 plus 1 geteilter Experte gewählt, Tokens werden zunächst in einen 2048-dimensionalen latenten Raum projiziert, dort berechnet und zurück abgebildet. Beim Trainingsziel hängt ECHO kein MTP-Modul mehr an, sondern lässt die letzte Schicht des Backbones zugleich die Vorhersage künftiger Tokens übernehmen und dient bei der Inferenz zusätzlich als eingebauter Draft für spekulatives Dekodieren. Hinzu kommen Änderungen wie mHC-Residuen, ein MultiMax-Ausgabekopf und ein BPE-Vokabular von rund 200K (Ziffern in Dreiergruppen zerlegt); der Operator FlashMask-4 für große Head-Dimensionen ist bereits im PaddlePaddle-Repository offen verfügbar. Laut Bericht liegt ERNIE 5.5 Flash Base im offiziellen Vergleich bei Wissens-, Reasoning-, Mathematik-, Code-, Mehrsprachigkeits- und Langkontext-Benchmarks insgesamt vor DeepSeek-V4-Flash Base, Hy3-preview-Base und MiMo-V2.5-Base; im Einzelvergleich mit DeepSeek-V4-Flash-Base (284B Parameter, 13B aktiviert) ist der Code-Abstand am größten: HumanEval+ 82,3 zu 69,5, LiveCodeBench 40,1 zu 31,9, FullStackBench 54,6 zu 43,3 – bei wenigen Evaluierungen wie ChineseSimpleQA liegt es dagegen leicht zurück. Der Bericht nennt zudem, dass die finale Version von ERNIE 5.5 Flash in Kürze erscheinen soll.
Auswirkungen für Entwickler
Dies ist eine Freigabe von Gewichten, keine Veröffentlichung eines direkt aufrufbaren Dienstes. Der Bericht enthält keine Angaben zu einem API-Start, Hosting-Preisen oder kommerziellen Bedingungen und nennt auch keinen Lizenztyp; offene Gewichte und eine Open-Source-Lizenz sind zwei verschiedene Dinge – ob kommerzielle Nutzung und Weitergabe erlaubt sind, ergibt sich allein aus dem Lizenztext in der Modellkarte oder im Repository. Sind die Gewichte einmal veröffentlicht, liegt die weitere Richtung bei den Nutzern: Es ist ein Basismodell, das laut Bericht bereits vollständige allgemeine Fähigkeiten besitzt, aber erst durch eigenes Instruction-Tuning, Reinforcement Learning oder Domänenanpassung zu einem dialogfähigen, agententauglichen Produkt wird. Für Anbindung und Deployment sind zwei Punkte am praktischsten. Erstens die Kostenstruktur: HCA komprimiert die KV in den meisten Schichten auf einen Eintrag je 128 Tokens, nur 6 MLA-Schichten behalten den Zugriff pro Token – die erklärte Absicht ist, Pre-fill und KV-Cache bei langem Kontext zu senken. Wer VRAM und Parallelität nach Erfahrungswerten dichter Attention schätzt, dürfte sich verkalkulieren; wie gut komprimierte Attention bei feingranularer Suche tatsächlich abschneidet, muss aber an eigenen Aufgaben geprüft werden und lässt sich nicht aus „robust bei Langkontext-Benchmarks“ ableiten. Zweitens der Inferenzpfad: ECHO lässt die letzte Backbone-Schicht als Draft fungieren; laut Bericht kostet das kaum Parameter und erreicht eine höhere Akzeptanzrate als ein externes MTP – ob diese Beschleunigung im verwendeten Inferenz-Stack aktiv ist und wie sie konfiguriert wird, hängt jedoch von der Umsetzung in den vLLM-/SGLang-Rezepten ab und greift nicht automatisch durch das Modell. 280B Gesamtparameter bedeuten zudem, dass die Gewichte selbst dann mehrere GPUs belegen, wenn pro Token nur 14B aktiviert werden; grob mit rund einem Byte pro Parameter in FP8 gerechnet, liegen allein die Gewichte in der Größenordnung mehrerer hundert GB – das ist die Rechnung, die vor dem Deployment ansteht. Wettbewerblich ordnet der Bericht ERNIE 5.5 Flash Base in der Flash-Klasse ein, als namentliche Konkurrenten derselben Klasse nennt er DeepSeek-V4-Flash Base, Hy3-preview-Base und MiMo-V2.5-Base. Für Entwickler ist ein zusätzliches wählbares Basismodell positiv, doch alle Benchmarks im Bericht sind Herstellerangaben, und die konkreten Versionen der Vergleichsmodelle ließen sich in dieser Prüfung nicht bestätigen; ihr Wert liegt in der Richtung, nicht in absoluten Zahlen.
Integration und Bewertung
Das Folgende sind bedingte Empfehlungen und Schlussfolgerungen, keine berichteten Fakten. Entscheidung eins: zuerst FP8- oder BF16-Gewichte. Die zugehörige Tatsache aus dem Bericht: Baidu veröffentlicht beide Versionen, FP8 und BF16. Wer direkt einen Dienst anbieten will und Karten mit guter FP8-Unterstützung hat, kann mit FP8 VRAM sparen und Durchsatz gewinnen; wer weiter vortrainieren oder aufwendiger feintunen will oder Hardware mit begrenzter FP8-Unterstützung nutzt, startet mit BF16. Die Weggabelung ist „nur Inferenz“ gegen „auch Training“. Messbarer Anhaltspunkt: eine repräsentative eigene Eingabemenge auf beiden Gewichten mit derselben Evaluierung fahren, Übereinstimmung der Aufgabenmetriken sowie VRAM-Spitze, Latenz bis zum ersten Token und Durchsatz erfassen und den Qualitätsverlust beziffern, statt FP8 als verlustfrei anzunehmen. Entscheidung zwei: Ist der 1M-Kontext Verkaufsargument oder Falle. Die zugehörige Tatsache: Trainingskontext 128K, Erweiterung auf 1M in Feinabstimmung und Inferenz. Bei Lasten wie Langdokument-Q&A, repository-weitem Code oder lang laufendem Agent-Kontext lohnt zuerst ein Test in Längenstufen, bevor das Limit festgelegt wird; bei kurzen Dialogen oder Einzelaufgaben ist eine Planung innerhalb von 128K sicherer. Die Weggabelung ist, ob wirklich deutlich mehr als 128K in eine einzelne Anfrage müssen. Messbarer Anhaltspunkt: bei 32K, 128K, 256K und 1M jeweils eine eigene Retrieval- oder Q&A-Menge laufen lassen, Genauigkeit, Latenz bis zum ersten Token und KV-VRAM über die Länge erfassen und das Limit erst nach dem Knick festlegen, an dem die Genauigkeit klar abfällt. Entscheidung drei: jetzt selbst auf dem Base-Modell trainieren oder auf die finale Version warten. Laut Bericht erscheint sie in Kürze, ein Datum und Spezifikationen nennt er nicht; es geht also um die Wahl zwischen „vorhandene Daten und Trainingspipeline“ und „auf ein einsatzfertiges Chat-/Agent-Modell warten“. Bedingung ist, ob man über nennenswerte Domänendaten und Erfahrung im Post-Training verfügt; ohne beides können die Kosten für eigenes Training auf dem Base-Modell den Nutzen übersteigen. Messbarer Anhaltspunkt: mit vorhandenen SFT-Daten einen kleinen Probelauf machen und auf einem Domänen-Holdout gegen das aktuell produktive Modell vergleichen, ob der Gewinn Wechsel- und Betriebskosten stabil deckt. Zum Weiterverfolgen lohnen drei Stellen: der Lizenztext auf der Modellkarte, die tatsächlichen Konfigurationspunkte für Langkontext und spekulatives Dekodieren in den vLLM-/SGLang-Rezepten und die Frage, ob die finale Version eine mit dem Base-Modell vergleichbare Evaluierungsgrundlage nennt.
Grenzen und offene Fragen
Die Informationen in diesem Artikel stammen im Wesentlichen aus Herstellersicht: Architekturbeschreibung, Routing- und Attention-Design, die Wirkung von ECHO sowie die Einzelvergleiche mit DeepSeek-V4-Flash Base und anderen Modellen stammen aus offiziellen Angaben, wie sie der Bericht wiedergibt; unabhängig reproduziert wurde nichts davon. Auch die vom Bericht genannten Versionen der Konkurrenzmodelle ließen sich nicht überprüfen, die Benchmark-Zahlen sind als Selbstauskunft zu lesen; verglichen werden zudem Basismodelle, deren Ergebnisse sich nicht direkt auf die bereits online verfügbaren Chat-Versionen der Anbieter übertragen lassen. Zur Lizenz sagt der Bericht nur, dass Gewichte offen sind; Lizenzname sowie Bedingungen für kommerzielle Nutzung und Weitergabe fehlen. Herunterladbare Gewichte bedeuten nicht beliebige Nutzbarkeit – vor dem Einsatz müssen Modellkarte und Repository geprüft werden. Eine API oder einen Hosting-Dienst erwähnt der Bericht nicht. ERNIE 5.5 Flash Base steht derzeit nicht im Modellkatalog von KimiSeek; die genannten Download-Adressen und Inferenzrezepte verweisen auf Baidu sowie die Communitys von vLLM und SGLang, und jede im Bericht genannte Verfügbarkeit ist Anbieterangabe. Sollten später Hosting-Dienste oder eine API erscheinen, richten sich Verfügbarkeit und Preis nach dem Anbieter und der Preisseite dieser Seite. Außerdem bezieht sich 1M auf die Erweiterung in Feinabstimmung und Inferenz; wie die Qualität bei dieser Länge aussieht, sagt der Bericht nicht – „robust bei sechs Langkontext-Benchmarks“ gilt nicht automatisch für die eigene Aufgabe. Die finale Version ist noch nicht erschienen, ihre Fähigkeiten und ihr Offenheitsgrad bleiben unbekannt.