← 全部模型资讯

英伟达 Cosmos 3 新增四个开放权重检查点:驾驶多传感器与双臂模拟,先弄清部署前提

据 NVIDIA 2026 年 11 月 5 日博客,Cosmos 3 家族新增四个基于 Cosmos 3 Nano 后训练的开放权重检查点,各 16B 可训练参数,覆盖驾驶多传感器生成、流式模拟、模拟器渲染与双臂动作预测,采用 OpenMDW1.1 许可。

发布 更新
原报道封面 — 英伟达 Cosmos 3 新增四个开放权重检查点:驾驶多传感器与双臂模拟,先弄清部署前提
原报道封面原始报道 ↗

发生了什么

NVIDIA 在 2026 年 11 月 5 日的博客中公布 Cosmos 3 家族的四个开放权重检查点,权重收录在 Hugging Face 的 Cosmos3 集合里,并附技术报告与演示页面。四个模型被描述为 Cosmos 3 Nano 的后训练示例,各拥有 16B 可训练参数,采用 OpenMDW1.1 许可。分工是:Cosmos3-Nano-Transfer-Auto 为离线双向模型,生成最多 11 个相机视角(含鱼眼)的同步视频并支持 RGB 与 LiDAR 联合生成,每相机世界场景图(WSM)控制场景结构与交通运动、文本提示引导外观;Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 经因果蒸馏后的流式变体,用少量去噪步连续产出同步相机与 LiDAR 小块,闭环交互需要模拟运行时与 WSM 渲染器;Cosmos3-Nano-Sim-Transfer 把物理模拟器的空间控制(深度、分割、边缘、模糊)与文本提示渲染成策略可消费的 RGB,物理与真值状态仍留在模拟器中;Cosmos3-Nano-Sim-Bimanual 从场景和机器人动作直接预测下一观测,支持 YAM 与 AgiBot 双臂本体。后训练配方分四阶段:双向适配、教师强制、一致性蒸馏、自强制;自强制让训练接触学生模型自己生成的历史,用于缓解误差累积。发布方给出的运行要求是 Linux、NVIDIA GPU、Docker 与 NVIDIA Container Toolkit,并说明已发布的 vLLM-Omni 配置在一台 GB200 上测试过,这不是最低显存规格。

对开发者的影响

这条发布对开发者的第一个含义是接入形态:它不是换个模型名就能调用的接口,而是需要 Linux、NVIDIA GPU、Docker 与 NVIDIA Container Toolkit 的自建推理栈。博客称已发布的 vLLM-Omni 配置在一台 GB200 上测试过,并明确这不是最低显存规格;显存下限、单卡能否跑通、每个分块的生成耗时,博客正文没有给出数字,部署预算只能自己测。 两条渲染路径的前提不同,取舍很具体。Sim-Transfer 把运动、接触与物理状态留给模拟器,模型只把深度、分割、边缘或模糊这类空间控制加文本提示渲染成 RGB,好处是物理与真值状态仍在模拟器一侧,代价是你得先有可用的模拟器和这几类控制通道。Sim-Bimanual 从场景与机器人动作直接预测下一观测,省掉模拟器,但必须对齐其数据契约:T 次转换需要 T+1 个观测,混合动作示例用 59 个控制值、训练时填充到 64,坐标系、旋转、夹爪校准与有效性掩码都有 schema 约束,发布的推理动作已经归一化。原文只列出这些约定,没有描述不符约定时输出会如何变形、是否会报错,因此格式校验只能当作必须自测的环节。 流式生成决定评估口径。模型在压缩 latent 上运行,初始图像之后每个 latent 时间步代表四帧 RGB,Transfer 每个分块预测一步,报告中优化后的 Bimanual 配置预测两步;分块越小,新控制影响生成的频率越高。博客专门解释了四阶段配方里自强制的作用:略微预测错误的物体会成为后续帧的上下文,误差可能累积,所以短程画面正常并不代表长时推演可用。基座是 Mixture-of-Transformers,用注意力连接独立的文本处理网络与视觉生成网络,键值缓存保留注意力信息供下一次预测,这些结构决定了离线合成与流式推演是两套不同的工程形态,吞吐预期不能共用。

接入与评估建议

以下为基于该报道的条件性分析,属建议而非报道事实。 决策一:用模拟器渲染,还是用动作直接预测。报道给出了两个前提不同的检查点——Sim-Transfer 的输入是模拟器算出的运动、接触与物理状态,经空间控制和文本提示渲染成颜色观测;Sim-Bimanual 从一张图像出发,按动作直接生成下一观测。如果你已有可信物理模拟器、且策略训练需要照片级真实感观测,选 Sim-Transfer,成本主要落在控制通道准备上;如果瓶颈是没有模拟器、只有采集好的双臂操作数据,选 Sim-Bimanual 更直接,前提是你的本体在 YAM 或 AgiBot 覆盖范围内,或愿意按 schema 做动作重定向。可衡量的验收标准:在留出集 episode 上比较生成观测与输入控制的几何一致性,例如生成帧的分割区域与输入分割控制的重叠程度、深度序关系是否符合控制;再看在这批生成观测上训练的策略在留出 episode 上的成功率相对基线的变化。 决策二:直接用发布的 Sim-Auto,还是先在自己的驾驶数据上后训练 Transfer-Auto 再蒸馏。报道明确写了路径依赖:Sim-Auto 是 Transfer-Auto 经因果训练与少步蒸馏得到的流式变体,面对新的传感器配置或领域,官方建议先适配 Transfer-Auto,再蒸馏为 Sim-Auto。如果你的相机布局、LiDAR 配置与目标环境和检查点覆盖范围一致,直接用发布的 Sim-Auto 做流式推演是较短路径;一旦不一致,成本会变成四阶段后训练加蒸馏的两段工程,且必须保留完整训练检查点以便恢复,因为导出的推理权重不含优化器和其他训练状态。可衡量的验收标准:先用小规模留出集 episode 验证训练与重启能否跑通,博客提示短跑成功只验证执行、不验证收敛;再测长时滚动推演中的漂移,例如同一场景在第 N 个分块之后相机与 LiDAR 的同步是否仍成立、控制变化后的响应延迟是否稳定。 决策三:闭环交互要不要现在做。报道称闭环交互需要模拟运行时与 WSM 渲染器持续更新控制,这套运行时不在权重里。只做离线合成数据可以跳过;若目标是研究策略如何响应控制,就应把运行时与渲染器一并纳入工程预算,并用控制变化后的响应延迟作为量化指标,而不是只看单帧画质。

限制与待确认事项

保真度与适用边界,报道本身没有给出基准数字。博客的说法是接下来的工作是衡量模型在哪些方面能忠实支持策略学习与评估、理解其局限,即发布方尚未公开可用于横向对比的保真度结果;技术报告与演示页面已链接,但本轮未见第三方复现,本文不对其质量下结论。基座与能力描述来自 NVIDIA 自家博客,属发布方自述。 许可方面只按原文转述:模型采用 OpenMDW1.1,允许在其条款下进行商业和非商业使用。权重可在 Hugging Face 下载,不等于可以按任意条件使用,具体权限需阅读许可条款本身。 可用性需要明确:Cosmos 3 以及这四个检查点在 KimiSeek 当前目录中没有对应条目,本文也未将其列为任何在线服务;其权重获取、托管与运行方式以 NVIDIA 与 Hugging Face 的发布为准。硬件下限同样未知,博客只说明 vLLM-Omni 配置在一台 GB200 上测试过,并强调这不是最低显存规格。报道日期为 2026 年 11 月 5 日,此后若权重、许可条款或运行要求有更新,应以发布方页面为准。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

NVIDIA 发布面向交互式世界模拟的 Cosmos 3 新开放模型

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。