← すべてのニュース

百度が文心 5.5 Flash Base の重みを公開:280B MoE、コンテキストは1Mまで拡張、導入前に測るべき3点

機械之心が2026年11月5日に報じたところによると、百度は事前学習済み基盤モデル「文心 5.5 Flash Base」を発表し重みを公開した。スパースMoEで総パラメータ280B、トークンあたり活性14B、33.5Tトークンで事前学習、学習時コンテキスト128K、ファインチューニングと推論では1Mまで拡張し、FP8とBF16の重み、およびvLLM・SGLangのレシピを示している。

公開 更新

主な変更

2026年11月5日、機械之心が百度の新型基盤モデル「文心 5.5 Flash Base(ERNIE 5.5 Flash Base)」の発表と重み公開を報じた。報道が示した仕様は次の通り。スパースMoEで総パラメータ280B、トークンあたり活性14B、33.5Tトークンでゼロから事前学習、学習コンテキストは最大128K、ファインチューニングと推論段階では1Mトークンまで拡張。43層のTransformer、Hidden Size 4096、64個のアテンションヘッド、第1層を除く各層のフィードフォワードはすべてMoEブロック。重みはFP8とBF16の2バージョンがHugging Faceに公開され、vLLMとSGLangコミュニティが対応するcookbookを提供している。 報道が重点的に取り上げたアーキテクチャ変更は3点。アテンションはMLAとHCAのハイブリッドで、43層のうちトークン単位のフルコンテキストアクセスを保つMLAは6層のみ、残る37層は重圧縮アテンションHCAで、128トークンごとに1つのキャッシュエントリに圧縮する。MLA層にはさらにスパースアテンションDSAを導入し、軽量なindexerが各queryについてスコアの高いtop-kの履歴位置を選ぶ。報道によればその事前学習lossは稠密アテンションと同等だという。MoE層はMulti-Routerを採用し、独立に初期化された複数のsigmoidルーターが同時にスコアを出し、各ブロック512のルーティングエキスパートから毎回10個+共有エキスパート1個を選ぶ。トークンはまず2048次元の潜在空間に射影して計算し、その後戻す。学習目標では、ECHOはMTPモジュールを外付けせず、バックボーン最終層が将来トークン予測を兼ね、推論時には投機的デコーディングの内蔵draftも兼ねる。ほかにmHC残差、MultiMax出力ヘッド、約200KのBPE語彙(数字を3桁ごとに分割)などの変更がある。大きなhead dim向けのFlashMask-4演算子はPaddlePaddleリポジトリで公開済み。 報道によれば、公式比較で文心 5.5 Flash Baseは知識、推論、数学、コード、多言語、長コンテキストのベンチマークで総合的にDeepSeek-V4-Flash Base、Hy3-preview-Base、MiMo-V2.5-Baseを上回る。DeepSeek-V4-Flash-Base(284Bパラメータ、13B活性)と項目別に比べるとコードの差が最も大きく、HumanEval+は82.3対69.5、LiveCodeBenchは40.1対31.9、FullStackBenchは54.6対43.3。一方、ChineseSimpleQAなど少数の評価ではやや劣る。報道はまた、文心 5.5 Flashの正式版がまもなく公開されるとしている。

開発者への影響

これは重みの公開であり、そのまま呼び出せるサービスのリリースではない。報道にはAPIの提供開始、ホスティング価格、商用条件の情報はなく、ライセンス種別にも触れていない。重みの公開とオープンソースライセンスは別物であり、商用利用や再配布が可能かはモデルカードやリポジトリのライセンス文面で確認する必要がある。重みが公開されたということは、その後の方向性は利用側に委ねられるということだ。これはBaseモデルであり、報道ではすでに汎用的な能力を備えるとされるが、対話やエージェントとして動く製品にするには、指示チューニング、強化学習、ドメイン適応を自分で接続する必要がある。 導入とデプロイへの実際の影響は2点に集約される。1つはコスト構造。HCAは大多数の層のKVを128トークンで1エントリに圧縮し、トークン単位のアクセスを保つのは6層のMLAだけであり、報道が示す設計意図は長コンテキストのpre-fillとKVキャッシュ占有を抑えることにある。稠密アテンションの経験則でVRAMと同時実行数を見積もると誤る可能性が高い。ただし圧縮アテンションが細粒度の検索で実際にどう振る舞うかは自分のタスクで検証すべきで、「長コンテキストのベンチマークが総じて堅調」から直接導けるものではない。もう1つは推論経路。ECHOはバックボーン最終層がdraftを兼ね、報道によればパラメータはほとんど増えず、外付けMTPより受け入れ率が高い。しかしこの高速化が利用する推論スタックで有効になっているか、どう設定するかはvLLM/SGLangレシピの実装次第であり、モデル側で自動的に効くものではない。総パラメータ280Bは、トークンあたり14Bしか活性化しなくても重み自体は複数GPUのVRAMを要することを意味する。FP8で1パラメータ約1バイトと粗く見積もっても重みだけで数百GB規模になり、これはデプロイ前に先に計算しておくべき勘定だ。 競争面では、報道は文心 5.5 Flash BaseをFlash帯に位置づけ、同帯の相手としてDeepSeek-V4-Flash Base、Hy3-preview-Base、MiMo-V2.5-Baseを挙げている。開発者にとって選択できる基盤が増えるのは良いことだが、報道のベンチマークはすべて公式の自己申告であり、比較対象の具体的なバージョンも今回の確認では特定できない。その参考価値は方向性にあり、絶対値にはない。

導入と評価の提案

以下は条件付きの提案と推論であり、報道された事実ではない。 判断1:まずFP8とBF16のどちらの重みを使うか。対応する報道事実は、百度がFP8とBF16の2バージョンを同時に公開したことだ。目的がそのまま外部向けサービスで、対象GPUのFP8対応が良好なら、まずFP8でVRAMを抑えスループットを取る。引き続き事前学習や重めのファインチューニングを行う場合、あるいはハードウェアのFP8対応が限定的なら、BF16から始める。分岐点は「推論のみ」か「学習も行う」かだ。測定可能な判断材料として、自分の代表的な入力を1セット選び、両方の重みで同じ評価を回し、タスク指標の一致度とVRAMピーク、初回トークン遅延、スループットを記録し、品質劣化を定量化してから決める。FP8が無損失だと決め打ちしないこと。 判断2:1Mコンテキストは売りか罠か。対応する報道事実は、学習コンテキストが128K、ファインチューニングと推論で1Mまで拡張という点だ。負荷が長文書QA、リポジトリ規模のコード、長時間稼働するエージェントのコンテキストなら、まず長さの階段テストをしてから上限を決める。短い対話や単発タスクなら、コンテキストは128K以内で設計する方が安全だ。分岐点は、1回のリクエストに128Kを大きく超える内容を本当に詰め込む必要があるかどうか。測定可能な判断材料として、32K、128K、256K、1Mの各段で自分の検索またはQAセットを回し、精度、初回トークン遅延、KVのVRAMが長さに応じてどう変わるかを記録し、精度が明確に落ちる折れ点を見つけてから上限を決める。 判断3:今Baseを自前で学習するか、正式版を待つか。報道では正式版がまもなく公開とされるが、日付も仕様も示されていない。つまりこれは「すでにあるデータと学習パイプライン」と「すぐ使えるChat/Agentモデルを待つ」の選択になる。条件は、規模のあるドメインデータとポストトレーニングの経験があるかどうか。なければBaseを自前で学習するコストが便益を上回る可能性がある。測定可能な判断材料は、既存のSFTデータで小規模な試行を行い、ドメインのホールドアウトセットで現在の運用モデルと比較し、置き換えと運用のコストを安定して上回る改善が出るかを見ることだ。 継続的に追うなら、3点を注視する価値がある。モデルカードのライセンス文面、vLLM/SGLangレシピにおける長コンテキストと投機的デコーディングの実際の設定項目、そして正式版公開時にBaseと同じ評価基準が示されるかどうか。

制限と未確認事項

本記事の情報は基本的にベンダー側の説明に由来する。アーキテクチャの記述、ルーティングとアテンションの設計、ECHOの効果、DeepSeek-V4-Flash Baseなどとの項目別比較はいずれも報道が伝えた公式データであり、今回は独立に再現していない。報道が名指しした相手モデルのバージョンも確認可能な範囲になく、ベンチマークの数値は自己申告データとして扱うべきだ。しかも比較対象はBaseモデルであり、各社がすでに提供するChat版と結論をそのまま置き換えることはできない。 ライセンスについては、報道は重みを公開したと述べるだけで、ライセンス名や商用・再配布条件を示していない。重みがダウンロードできることは自由に使えることを意味せず、導入前にモデルカードとリポジトリを確認する必要がある。報道はAPIやホスティングサービスにも触れていない。 文心 5.5 Flash Baseは現在KimiSeekのモデルカタログにはない。本文で触れたダウンロード先と推論レシピはいずれも百度およびvLLM、SGLangコミュニティを指しており、報道にある可用性は提供者側の説明である。今後ホスティングサービスやAPIが出た場合、その可用性と価格は提供者および当サイトの価格ページに従うべきだ。また1Mはファインチューニングと推論段階での拡張範囲であり、報道はその長さでの品質を示していない。「6つの長コンテキストベンチマークが堅調」は自分のタスクでも同じとは限らない。正式版は未公開で、その能力と公開範囲は未知数だ。

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

刚刚,百度开源全新预训练基模:文心 5.5 Flash Base 主打效率

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。