← 全部模型资讯

Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600

AWS 11 月 9 日博客宣布,英伟达 Nemotron 3.5 Super VL 在 SageMaker JumpStart 上线,提供 NVFP4 与 BF16 两个变体。120B 总参、12B 激活,权重按 OpenMDW 1.1 许可提供;但托管端点的服务配置把上下文限制在 520 至 15,600 token。

发布 更新

发生了什么

据 AWS 于 2026 年 11 月 9 日发布的博客(作者 Venu Kanamatareddy、Evan Kravitz、Naidile Murali),英伟达 Nemotron 3.5 Super VL 已在 Amazon SageMaker JumpStart 上架。按博客描述,该模型是 Nemotron 3.5 系列中的视觉语言模型,接受图像、视频和文本输入并输出文本,语言骨干为 120B 总参数、每 token 激活 12B:88 层交替堆叠 Mamba-2 与 MoE(512 个路由专家,每 token 激活 22 个),穿插 8 个注意力层,骨干从 Nemotron 3 Super Base 初始化、从 Nemotron 3 Ultra Base 蒸馏,视觉侧使用 C-RADIO 编码器。JumpStart 提供两个变体:NVFP4 由 BF16 经量化感知蒸馏得到,约 75GB,运行在搭载 RTX PRO 4500 Blackwell 的 G7 实例上,以 4 比特权重与激活执行;BF16 为全精度参考权重,约 249GB,运行在 ml.p5en.48xlarge 的 8 张 H200 上。权重以 OpenMDW 许可协议 1.1 提供,支持英语、法语、德语、意大利语、日语、西班牙语和中文。博客称模型最高支持 100 万 token 上下文,但 JumpStart 的服务配置只开到 520 至 15,600 token;checkpoint 自带多 token 预测头,JumpStart 服务配置未启用投机解码,端点也不加载 LoRA 适配器。

对开发者的影响

对开发者的第一层影响在接口形态。按博客描述,JumpStart 端点暴露的是 vLLM 驱动的 chat completions 接口,推理默认开启,思维内容放在消息的 reasoning 字段、与 content 分开返回,这意味着现有只解析单一 content 字段的客户端需要改造,否则会丢掉正文或把推理过程当正文。媒体必须以 base64 data URL 内联发送,因为端点做了网络隔离、无法抓取 URL,这会显著抬高请求体体积,也让“给个链接让模型自己下载”这类做法直接失效。 第二层影响在容量规划。模型卡写的是最高 100 万 token 上下文,但托管端点的服务配置实际只给 520 到 15,600 token,且每请求只接受一张图像和一段视频。一张 1,536×1,024 的页面图像约消耗 1,536 个 token,博客也明确说模型接收图像而非原始 PDF,需要先把每页渲染成图片。据此推断:一份几十页的 PDF 在这条托管路径上无法一次性送入,只能逐页请求,或把多页拼成一张图再压上下文预算。 第三层影响在延迟预期。博客给出的测量是 generate 配置(250 输入 token、1,500 输出 token、5 路并发流式)下,G7 上的 NVFP4 每请求约 63 token/秒、首 token 约 0.45 秒;但同一个 g7.24xlarge 在 summarize 配置、10,000 输入 token 时首 token 变成 12.62 秒。图像与视频请求通常落在长提示一侧,打算用它做交互式 GUI 智能体之前,这个首 token 量级值得先量一遍。 质量方面,博客引用 NVIDIA 模型卡的五项多模态基准(开启推理):MMLongBench-Doc 62.82 对 62.82、OCRBench v2 英文 68.12 对 68.34、CharXiv reasoning 80.82 对 79.88、Video-MME v2 32.85 对 32.54、OSWorld-Verified 51.14 对 52.30,前者为 BF16、后者为 NVFP4。博客称评估设置保持一致,只有 checkpoint 不同。这些是厂商自报数字,未见第三方复现。

接入与评估建议

以下三条是基于报道事实的条件性建议,不是已验证的结论。 第一,先决定变体。报道的变化是 JumpStart 同时提供 NVFP4 与 BF16 两个 checkpoint,NVFP4 为默认、起配在 ml.g7.24xlarge,BF16 只在 ml.p5en.48xlarge。要做的选择是:纯推理服务先用 NVFP4;只有当你要做 SFT、强化学习、蒸馏、领域适配或自定义量化,才去下载 BF16 参考权重自建。改变这个选择的关键前提是微调需求:博客明确说端点只提供基础权重、不加载 LoRA 适配器,如果你的方案依赖 LoRA 热切换,托管路径直接不成立。可测的判据是用你自己的文档截图与视频片段在同一批输入上跑两个 checkpoint,比较任务准确率与 JSON 输出合规率的差值,并把可接受差值定在不超过你现有人工复核率所对应的误差水平。 第二,先决定服务配置,再谈上下文。报道的变化是 inference_config_name 决定模型长度:generate 2,275、interact 520、summarize 13,650、modify 15,600 token,博客的图像、视频与推理示例统一用 modify。选择上,含图像、视频或多步推理的请求用 modify,短文本抽取用 generate,并按“一张页面约 1,536 token”估算每个请求能吃几页。前提是多页文档必须拆成多次请求或拼成一张图。可测的判据是上线前统计一次长度超限的拒绝率与 p95 首 token 时间,并把 10,000 输入 token 下 12.62 秒这个参考值当作延迟预算的下限对照。 第三,先决定推理开关。报道的变化是推理默认开启、思维内容单独返回,且带推理的视频请求建议 max_tokens 至少设为 8,192。选择上,票据字段抽取、图像描述这类需要短直接回复的任务用 enable_thinking=False 关掉,多步分析与 GUI 定位保留。改变选择的前提是任务是否真的需要中间步骤。可测的判据是同一批样本上比较开与关的字段抽取准确率、输出 token 数与端到端延迟,看省下的 token 是否换来可接受的精度损失。部署前还要确认 ml.g7 配额(新账户初始为零)与 SageMaker Python SDK 不低于 3.25,并显式传入实例类型,否则 SDK 会回退到 ml.m5.large 导致构建失败。

限制与待确认事项

Nemotron 3.5 Super VL 这一版本目前不在 KimiSeek 的模型目录中,报道所说的可用性指 AWS SageMaker JumpStart,即厂商侧的托管服务,不是本站已上架模型。 其余未知同样需要保留:上文引用的五项基准来自 NVIDIA 模型卡,属厂商自报口径;博客自己说明 NVFP4 与 BF16 的性能数字跑在不同 GPU 系统与配置上,并非隔离的精度对比,因此不能拿 63 token/秒与 140.85 token/秒直接推断量化损失。模型卡宣称的 100 万 token 上下文在托管端点没有暴露,实际上限取决于服务配置;视频帧采样在端点启动时固定,端点也拒绝按请求传 media_io_kwargs,想按请求控制采样就得自建。权重以 OpenMDW 许可协议 1.1 提供,开放权重不等于开源许可,商用、再分发与衍生模型条款需读许可原文。源文未给价格,费用按所选实例计,具体以 AWS SageMaker 定价页为准;中文虽在支持语种列表内,但源文没有给出中文场景的基准数据。

原报道配图

原报道配图 1 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 1原始报道 ↗
原报道配图 2 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 2原始报道 ↗
原报道配图 3 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 3原始报道 ↗
原报道配图 4 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 4原始报道 ↗
原报道配图 5 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 5原始报道 ↗
原报道配图 6 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 6原始报道 ↗
原报道配图 7 — Nemotron 3.5 Super VL 上架 SageMaker JumpStart:模型称百万上下文,端点只开到 15,600
原报道配图 7原始报道 ↗

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

NVIDIA Nemotron 3.5 Super VL 现已登陆 Amazon SageMaker JumpStart

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。