← 全部模型资讯

英伟达在单台 DGX Spark 上给 Ling-3.0-flash 提速 42.5%:三项优化与一个静默回退陷阱

据 MarkTechPost 2026 年 11 月 3 日报道,英伟达用 Humming MXFP4 MoE 内核、FP8 LM head 与内置 MTP 推测解码,在单台 DGX Spark 上把 Ling-3.0-flash 的 GSM8K 解码吞吐从 37.81 提升到 53.89 tokens/s;FP8 与 MTP 同开时草稿须共享 LM head,否则会静默回退。

发布 更新

发生了什么

据 MarkTechPost 2026 年 11 月 3 日报道,英伟达在一篇技术博客中展示在单台 DGX Spark 上加速混合专家推理的三种方法,测试模型是蚂蚁集团 inclusionAI 的 Ling-3.0-flash:124B 总参数、每 token 激活 5.1B、原生 256K 上下文。运行环境是一台 DGX Spark(GB10、128 GB 统一内存、273 GB/s 带宽),批大小为 1。三项优化分别是 Humming MXFP4 MoE 内核、加载时量化的 FP8 LM head,以及复用模型内置 NEXTN 层的 MTP 推测解码。在全部 1,319 道 GSM8K 题上,解码吞吐从 37.81 提升到 53.89 tokens/s(+42.5%),平均延迟从 15.21 秒降到 11.49 秒,准确率 96.89% 对 96.82%,英伟达称这一变化在统计上不可检测。

对开发者的影响

这条新闻的价值不在 42.5% 这个数字,而在于它把“桌面级设备跑 124B MoE”的瓶颈拆成了可分别处理的两类:每步搬多少字节,以及要走多少步。Humming 与 FP8 LM head 属于前者,MTP 属于后者,三者不重叠,可以独立开关——这正好对应三种不同的接入决策。对 API 用户,报道援引第三方榜单给出的厂商与托管平台报价提示了成本量级,但那是 2026 年 11 月 3 日前后记录的价格,各供应商的定价页面才是当前依据。对自建部署者,需要注意的是收益高度依赖负载形态:在合成测试中 MTP 每轮平均接受 3.90 个 token、吞吐提升 185.1%,换到采用采样解码、答案中位数约 310 token 的 GSM8K 上接受长度掉到 2.68,收益收缩到 42.5%。这说明推测解码的收益与输出重复度、解码策略和序列长度直接相关,短答案、高温采样的交互式请求拿不到合成测试的量级。此外,单台设备、批大小为 1 的结果不能直接外推到多并发服务。

接入与评估建议

建议按三步验证,而不是一次性套用配方。第一,先确认 MTP 是否真的生效:在你自己的抽样任务上记录每轮接受长度,若接近 1.00 就说明草稿把 FP8 权重当 BF16 读了、框架已静默回退,此时吞吐会低于未优化基线;只有接受长度明显大于 1,再比较每输出 token 时间与未优化基线的差值,并把采样式短答案负载单独测一组。第二,决定是否换用运行时编译的 Humming 内核时,把冷启动编译耗时和稳态吞吐放在一起看:每个内核数秒编译相对 FlashInfer CUTLASS 编 97 个目标、数十分钟是改善,但如果服务需要频繁重启或弹性扩缩,编译时间会变成可用性问题;收益(报道中相对基线 +9.3%)还取决于你的专家层形状是否同样偏窄。第三,量化位宽按任务敏感度分别决策:把 FP4 与 FP8/BF16 在自有代码评测集上对比通过率,并预设一个可接受的退化阈值,因为报道中的量化表显示 SciCode 从 41.24 降到 38.43,降幅明显大于 GPQA-diamond 的 84.97 到 83.68。

限制与待确认事项

以上性能数字来自英伟达自己的技术博客,经 MarkTechPost 于 2026 年 11 月 3 日转述,测试条件限定为单台 DGX Spark、批大小 1、GSM8K 一个数据集,未见第三方复现;42.5% 与 185.1% 都不应外推到多并发、其他硬件或其他任务。Ling-3.0-flash 的基准成绩多为 inclusionAI 自报或 Artificial Analysis 榜单数据,口径不一(例如 Humanity's Last Exam 自报 22.7、独立 23.7%)。报道称 Ling 3.0 系列以 MIT 许可证发布,但权重可下载不等于许可证授权明确覆盖你的用途,实际权利仍应回到模型卡与许可原文逐条确认,FP4 检查点也应单独核对。需要说明的是,该版本目前未出现在 KimiSeek 的在线模型目录中,Ling-3.0-flash 并未在 KimiSeek 上线;报道中提到的 API 可用性与报价指的是厂商及第三方平台一侧,与本站无关。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

NVIDIA 展示在 DGX Spark 上加速 MoE 推理的 3 种方法,使 Ling-3.0-flash 吞吐量提升 42.5%

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。