← 全部模型资讯

Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可

据 Hugging Face 2026 年 10 月 29 日博客,Mistral Large 4(Le Chonk)以约 1T 总参数、49B 激活的开放权重发布,支持 1M 上下文,提供 FP8、NVFP4 与多种 GGUF 量化;推理强度默认 high 且无法关闭,NVFP4 的 vLLM 路径需要 Blackwell GPU。

发布 更新
原报道封面 — Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可
原报道封面原始报道 ↗

发生了什么

据 Hugging Face 于 2026 年 10 月 29 日发布的博客,Mistral 的 Mistral Large 4(代号 Le Chonk)已在该平台放出权重。这是一个接受文本与图像输入、只输出文本的多语言混合专家模型:总参数约 1T、每个 token 激活 49B、上下文窗口 1M token。官方提供 FP8 与 NVFP4 两个变体,另有 Unsloth 与 llama.cpp 团队转换的 GGUF 量化。 博客披露的架构细节包括:文本解码器 72 层、隐藏维度 6144、64 个注意力头;注意力块把多头潜在注意力与 DeepSeek 稀疏注意力索引器组合,每个查询最多选择 2048 个键位置;解码层按 3:1 的 RoPE 与 NoPE 交替,并跨层共享 KV 状态;首层为稠密前馈,其余 71 层为 MoE,softmax 路由器从 128 个专家中为每个 token 选 4 个,另加 1 个始终运行的共享专家。视觉侧是 1.6B 的 Pixtral 编码器,30 层、16 个注意力头、14×14 patch。 发布方自报的成绩包括:DeepSWE v1.1 61.7%、SWE-Atlas-QnA 59.4%、Terminal-Bench 4 28.3%,综合 Coding Agent Index 49.8%,博客称后者领先 DeepSeek V4 Pro 0813 与 Qwen3.8 Max;网络安全方向,在要求复现并修补真实漏洞的测试上得 82%,Cybench 解出 40 道挑战中的 93%,Lakera B3 攻击抵抗 93.3%。截至 2026 年 10 月 29 日,博客称其在 Artificial Analysis 智能指数上位列开放权重模型第五。上述数字来自发布方或其所引评测口径,本文未独立复现。

对开发者的影响

第一处影响在成本与延迟的估算方式。博客在 Transformers 一节写明 reasoning_effort 可取 low、medium、high,默认 high,且推理无法关闭——传 reasoning_effort: none 仍会按 high 执行。如果现有链路是按“无思考模式”估过输出长度与首字延迟,接入后必须重测;Hugging Face 推理端点把推理内容单独放在响应的 reasoning 字段,客户端解析也要跟着改。 第二处在上下文口径。模型规格写 1M token,但博客给出的 vLLM 启动命令把 max-model-len 设为 131072,端点配方同样写“最多 131K 上下文”。两者不矛盾,却说明 1M 更接近权重能力上限,而非开箱可用的服务配置;实际能跑多长还取决于显存与并发设置。 第三处是硬件与精度的分叉。NVFP4 检查点需要 NVIDIA Blackwell;端点配方用 FP8 在 8 张 H200 上通过张量并行加专家并行,服务 131K 上下文、最多 16 个并发请求。博客同时给出 GGUF 量化:2-bit 版本可在单台 512GB 统一内存的 Apple Silicon 上运行,其余量化需要分布式推理,可在多张 NVIDIA 或 AMD 显卡上跑。三条路径的吞吐量级差别很大,不能互相外推。 第四处是许可。权重按 Mistral Ecosystem Open-Weight License 分发,博客自述这是 MIT 的衍生许可并对模型即服务设限。权重可下载不等于可以自由对外提供推理服务,具体边界要按许可原文判断。 第五处是微调门槛。博客的 TRL LoRA 示例跑在 8 张 B300 的节点上,训练脚本用 FSDP 加专家并行,这并不是单卡能复现的配置。

接入与评估建议

以下为条件性建议,不是已经验证过的结论。 决策一:默认推理强度是否调低。报道事实是推理无法关闭、默认 high。选择是把默认档位从 high 降到 low 或 medium。前提条件是你的负载属于短输出、格式固定的抽取或分类;多步代码修复、漏洞复现这类任务,博客的基准本就按高档推理测,降档等于换掉被测对象。评估方式是在同一批固定样本上分别跑 high 与 low,记录输出 token 数、端到端延迟与任务成功率,只有成功率下降可接受且 token 与延迟确有下降,才改默认值。 决策二:走哪条部署路径。报道事实是官方有 FP8 与 NVFP4 两个精度变体,其中只有 FP8 有公开的 8×H200 部署配方,NVFP4 需要 Blackwell;但这不代表非 Blackwell 机器只有一条路,博客另给出 llama.cpp 的 GGUF 量化,2-bit 可在单台 512GB 统一内存的 Apple Silicon 上运行,其余量化需要分布式推理、可在多张 NVIDIA 或 AMD 卡上跑。选择是在已有硬件上取 FP8、NVFP4 还是 GGUF。前提条件是有 8 卡 H200 级别机器才谈得上复刻 FP8 配方,有 Blackwell 才值得试 NVFP4 换取更小显存占用,只有单机或消费级多卡就只能从 GGUF 量化里挑并接受精度损失。评估方式是在目标并发与自己真实提示长度下压测,记录首 token 时间、生成吞吐与显存占用,把博客报告的单请求约 0.6 秒首 token、16K 提示四路并发约 4300 tok/s 预填充当作量级参照,而非验收线。 决策三:是否按 1M 上下文设计。报道事实是模型规格 1M、服务配置 131K,且博客自己的长上下文测试里 IQ2_XXS 在 800K 上下文下生成速度降到 3 tok/s。选择是为长上下文单开一条链路,还是把请求压到 131K 以内统一处理。前提条件是先统计真实请求的 p95 长度,若 p95 远低于 131K,为一个用不上的窗口牺牲并发并不划算。评估方式是按 p95 长度构造测试集,比较“截断到 131K”与“全量输入”两种方案在同一批任务上的完成率与总耗时。 决策四:安全类负载自建还是继续走托管接口。报道事实是博客把网络安全列为主打,称在 JailbreakBench、StrongREJECT 与 AgentHarm 的网络安全提示上平均拒绝率高于其他开放权重模型,并称若干闭源前沿模型在同一复现测试上因拒答而得分接近零。选择是自建部署还是继续用闭源 API。前提条件是只有当任务确实会因闭源过滤器被拦、或需要在事件处理中途保持访问不中断时,自建才划算;开放权重把使用策略与部署放在自己手里,同时合规与滥用防护也由自己承担。评估方式是在自有历史样本上测“先复现再修补”的成功率与拒绝率,再与同一批样本走闭源接口的对应数字对比。

限制与待确认事项

首先,Mistral Large 4 目前不在 KimiSeek 的模型目录中;文中提到的 Inference Endpoints、Inference Providers 无服务器推理与 Dell Enterprise Hub 配方都属于 Mistral、Hugging Face 与 Dell 侧渠道,该版本及其 API 是否在本站提供、以何种形态提供,需以本站目录与实际页面为准。 其次,基准多为发布方自报或其所引第三方口径。“开放权重模型第五”限定在 2026 年 10 月 29 日这一时点;恶意软件分析、漏洞优先级排序、检测规则生成等结论来自 Mistral 内部测试,没有独立复现。 第三,吞吐数字来自特定机器与特定量化,M3 Ultra、4 张 RTX6000 Pro、8 张 H200 上的结果不能外推到其他集群。 第四,1M 规格、131K 服务配置与长上下文吞吐下降之间的取舍,博客未作解释,只能自己测。 第五,原文 llama.cpp 的多模态请求示例中 model 字段写的是另一个模型名,照抄容易出错;官方仓库名写作 1T-A52B,而正文描述为 49B 激活参数,两者是否为同一统计口径需以模型卡为准。 最后,许可中“何种对外服务构成 model-as-a-service”需按许可原文判断,本文不给出法律结论。

原报道配图

原报道配图 1 — Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可
原报道配图 1原始报道 ↗
原报道配图 2 — Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可
原报道配图 2原始报道 ↗
原报道配图 3 — Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可
原报道配图 3原始报道 ↗
原报道配图 4 — Mistral Large 4 开放权重发布:1T 参数、推理关不掉,部署前先算清精度与许可
原报道配图 4原始报道 ↗

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

欢迎 Le Chonk:Mistral Large 4 登陆 Hugging Face

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。