← 全部模型资讯

百度开放文心 5.5 Flash Base 权重:280B MoE、上下文外扩 1M,接入前先量三件事

据机器之心 2026 年 11 月 5 日报道,百度发布并开放预训练基模文心 5.5 Flash Base:稀疏 MoE,总参 280B、每 token 激活 14B,33.5T tokens 预训练,训练上下文 128K、微调与推理外扩到 1M,并给出 FP8 与 BF16 权重及 vLLM、SGLang 配方。

发布 更新

发生了什么

2026 年 11 月 5 日,机器之心报道百度发布新一代基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)并开放权重。报道给出的规格是:稀疏 MoE,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文最长 128K,微调与推理阶段外扩至 1M tokens;43 层 Transformer,Hidden Size 4096,64 个注意力头,除第一层外各层前馈网络均为 MoE 块。权重以 FP8 与 BF16 两个版本放上 Hugging Face,vLLM 与 SGLang 社区提供了对应 cookbook。 报道重点讲了三处架构改动。注意力采用 MLA 与 HCA 混合:43 层中仅 6 层是保留 token 级全上下文访问的 MLA,其余 37 层是重度压缩注意力 HCA,每 128 个 token 压成一条缓存条目;MLA 层再引入稀疏注意力 DSA,用轻量 indexer 为每个 query 挑选得分最高的 top-k 历史位置,报道称其预训练 loss 与稠密注意力持平。MoE 层采用 Multi-Router,多个独立初始化的 sigmoid 路由器同时打分,每块 512 个路由专家、每次选 10 个加 1 个共享专家,token 先投影到 2048 维隐空间计算再映射回来。训练目标上,ECHO 不再外挂 MTP 模块,而让主干最后一层同时承担未来 token 预测,并在推理时兼作投机解码的内置 draft。此外还有 mHC 残差、MultiMax 输出头、约 200K 的 BPE 词表(数字按三位一组切分)等改动;面向大 head dim 的 FlashMask-4 算子已在 PaddlePaddle 仓库开源。 报道称在官方对比中,文心 5.5 Flash Base 在知识、推理、数学、代码、多语言与长上下文基准上整体领先 DeepSeek-V4-Flash Base、Hy3-preview-Base 与 MiMo-V2.5-Base;与 DeepSeek-V4-Flash-Base(284B 参数、13B 激活)逐项对比时代码差距最大,HumanEval+ 为 82.3 对 69.5、LiveCodeBench 为 40.1 对 31.9、FullStackBench 为 54.6 对 43.3,同时在 ChineseSimpleQA 等少量评测上略有落后。报道还称文心 5.5 Flash 正式版预计很快发布。

对开发者的影响

这是一次权重开放,不是一次可直接调用的服务发布。报道中没有 API 上线、托管价格或商业条款的信息,也没有说明许可证类型;开放权重与开源许可是两件事,能否商用、能否再分发要以模型卡或仓库中的许可文本为准。权重放出来意味着后续方向交给使用方:这是一个 Base 模型,报道称其已具备完整通用能力,但要变成能对话、能跑 Agent 的产品,需要自己接上指令微调、强化学习或领域适配。 对接入与部署,最实际的影响在两处。一是成本结构。HCA 把大多数层的 KV 压缩成 128 token 一条,只有 6 层 MLA 保留逐 token 访问,报道的设计意图是压低长上下文 Pre-fill 与 KV cache 占用。若按稠密注意力的经验估算显存与并发,很可能估错;但压缩注意力在细粒度检索上的实际表现也需要在自己的任务上验证,不能从「长上下文基准整体稳健」直接推导。二是推理路径。ECHO 让主干最后一层兼作 draft,报道称几乎不增加参数、接受率高于外挂 MTP,但这条加速是否在所用推理栈中被启用、如何配置,取决于 vLLM/SGLang 配方的实现,而不是模型本身自动生效。总参数 280B 也意味着即使每 token 只激活 14B,权重本身仍需多卡显存;按 FP8 每参数约一字节粗略估算,仅权重就在数百 GB 量级,这是部署前要先算的账。 竞争层面,报道把文心 5.5 Flash Base 放在 Flash 档,点名的同档对手包括 DeepSeek-V4-Flash Base、Hy3-preview-Base 与 MiMo-V2.5-Base。对开发者来说多一个可选基座是好事,但报道中所有基准均为官方自报,比较对象的具体版本也无法在本次核对中确认,其参考价值在于方向而非绝对值。

接入与评估建议

以下为条件性建议与推断,不是报道事实。 决策一:先用 FP8 还是 BF16 权重。对应的报道事实是百度同时放出 FP8 与 BF16 两个版本。如果你的目标是直接对外服务,且目标卡对 FP8 支持良好,可以先取 FP8 压显存、换吞吐;如果你还要继续预训练、做较重的微调,或硬件对 FP8 支持有限,就从 BF16 起步。分岔点是「只推理」还是「还要训练」。可测的判据:选一组自己的代表性输入,在两个权重上跑同一套评测,记录任务指标的一致程度与显存峰值、首 token 延迟、吞吐,把质量损失量化后再决定,而不是默认 FP8 无损。 决策二:1M 上下文是卖点还是陷阱。对应的报道事实是训练上下文 128K、微调与推理外扩到 1M。如果你的负载是长文档问答、仓库级代码或长时间运行的 Agent 上下文,可以先做长度阶梯测试再决定上限;如果只是短对话或单轮任务,把上下文规划在 128K 以内更稳妥。分岔点是你是否真的需要在单次请求中塞进远超 128K 的内容。可测的判据:在 32K、128K、256K、1M 几档上各跑一组自己的检索或问答集合,记录准确率、首 token 延迟与 KV 显存随长度的变化,找到准确率明显下滑的拐点再定上限。 决策三:现在用 Base 自训,还是等正式版。报道称正式版预计很快发布,但未给日期与规格,所以这本质上是在「已有数据与训练流水线」和「等一个开箱可用的 Chat/Agent 模型」之间选。条件是你手上是否有成规模的领域数据和后训练经验;如果没有,用 Base 自训的成本可能高于收益。可测的判据:用现有 SFT 数据做一次小规模试跑,在领域留出集上与当前线上模型对比,看提升能否稳定覆盖替换与运维成本。 若要持续跟踪,值得盯三处:模型卡上的许可证文本、vLLM/SGLang 配方中长上下文与推测解码的实际配置项,以及正式版发布时是否给出与 Base 一致的评测口径。

限制与待确认事项

本文信息基本来自厂商口径:架构描述、路由与注意力设计、ECHO 的效果,以及与 DeepSeek-V4-Flash Base 等模型的逐项对比,均出自报道转述的官方数据,本次没有独立复现。报道点名的对手模型版本也不在可核对范围内,基准数字应按自报数据看待;而且比较的是 Base 模型,与各家已上线的 Chat 版不能直接互换结论。 许可证方面,报道只说开放权重,未给出许可名称或商用、再分发条款,权重可下载不等于可任意使用,落地前必须核对模型卡与仓库。报道也未提到 API 或托管服务。 文心 5.5 Flash Base 目前不在 KimiSeek 的模型目录中,本文提到的下载地址与推理配方均指向百度以及 vLLM、SGLang 社区,任何报告中的可用性都属于提供方口径;若后续出现托管服务或 API,其可用性与价格应以提供方和本站定价页为准。此外,1M 是微调与推理阶段的外扩范围,报道没有说明该长度下的质量表现,「六项长上下文基准稳健」不等于在你的任务上同样成立。正式版尚未发布,其能力与开放范围仍是未知数。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

刚刚,百度开源全新预训练基模:文心 5.5 Flash Base 主打效率

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。