← すべてのニュース

NVIDIA Cosmos 3に4つのオープンウェイト・チェックポイント追加:運転のマルチセンサーと双腕シミュレーション、まず導入前提を整理

NVIDIAの2026年11月5日のブログによると、Cosmos 3ファミリーにCosmos 3 Nanoを事後学習したオープンウェイトのチェックポイントが4つ追加された。いずれも16Bの学習可能パラメータを持ち、運転のマルチセンサー生成、ストリーミングシミュレーション、シミュレータレンダリング、双腕動作予測をカバーし、OpenMDW1.1ライセンスを採用する。

公開 更新
元の報道のカバー画像 — NVIDIA Cosmos 3に4つのオープンウェイト・チェックポイント追加:運転のマルチセンサーと双腕シミュレーション、まず導入前提を整理
元の報道のカバー画像元の報道 ↗

主な変更

NVIDIAは2026年11月5日のブログで、Cosmos 3ファミリーのオープンウェイト・チェックポイント4つを公表した。重みはHugging FaceのCosmos3コレクションに収録され、技術レポートとデモページも添えられている。4つのモデルはCosmos 3 Nanoの事後学習例とされ、それぞれ16Bの学習可能パラメータを持ち、OpenMDW1.1ライセンスを採用する。役割分担は次の通り。Cosmos3-Nano-Transfer-Autoはオフラインの双方向モデルで、最大11台のカメラ視点(魚眼を含む)の同期動画を生成し、RGBとLiDARの同時生成に対応する。カメラごとのワールドシーングラフ(WSM)がシーン構造と交通の動きを制御し、テキストプロンプトが見た目を導く。Cosmos3-Nano-Sim-AutoはTransfer-Autoを因果蒸留したストリーミング変種で、少数のデノイズステップで同期カメラとLiDARのタイルを連続生成する。クローズドループの対話にはシミュレーションランタイムとWSMレンダラーが必要となる。Cosmos3-Nano-Sim-Transferは物理シミュレータの空間制御(深度、セグメンテーション、エッジ、ぼかし)とテキストプロンプトを、ポリシーが利用できるRGBにレンダリングする。物理と真値の状態はシミュレータ側に残る。Cosmos3-Nano-Sim-Bimanualはシーンとロボット動作から次の観測を直接予測し、YAMとAgiBotの双腕本体をサポートする。事後学習のレシピは4段階に分かれる。双方向モデルへの適応、教師強制、整合性蒸留、自己強制である。自己強制では、生徒モデル自身が生成した履歴に訓練を触れさせ、誤差の累積を緩和する。公開元が示す動作要件はLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkitであり、公開済みのvLLM-Omni構成は1台のGB200でテストしたと説明されている。これは最低VRAM仕様ではない。

開発者への影響

この発表が開発者にとってまず意味するのは導入形態だ。モデル名を変えるだけで呼べるAPIではなく、Linux、NVIDIA GPU、Docker、NVIDIA Container Toolkitを要する自前の推論スタックが必要になる。ブログは公開済みのvLLM-Omni構成を1台のGB200でテストしたとし、これが最低VRAM仕様ではないと明言している。VRAMの下限、単一GPUで動くか、タイルごとの生成時間について、ブログ本文に数字はなく、導入予算は自分で測るしかない。 2つのレンダリング経路は前提が異なり、取捨選択は具体的だ。Sim-Transferは動き、接触、物理状態をシミュレータに任せ、モデルは深度、セグメンテーション、エッジ、ぼかしといった空間制御とテキストプロンプトだけをRGBにレンダリングする。利点は物理と真値の状態がシミュレータ側に残ること、代償は使えるシミュレータとこれらの制御チャネルを先に用意する必要があることだ。Sim-Bimanualはシーンとロボット動作から次の観測を直接予測し、シミュレータを省けるが、そのデータ契約に合わせる必要がある。T回の遷移にはT+1個の観測が必要で、混合動作の例は59個の制御値を使い、訓練時は64にパディングされる。座標系、回転、グリッパのキャリブレーション、有効性マスクにはスキーマ制約があり、公開された推論用動作は正規化済みである。原文はこれらの約束事を挙げるだけで、従わない場合に出力がどう歪むか、エラーになるかは述べていない。そのため形式検証は必ず自分で試す工程と考えるべきだ。 ストリーミング生成が評価の基準を決める。モデルは圧縮されたlatent上で動作し、初期画像の後、各latent時間ステップは4フレームのRGBを表す。Transferはタイルごとに1ステップを予測し、レポートの最適化済みBimanual構成は2ステップを予測する。タイルが小さいほど、新しい制御が生成に影響する頻度は高くなる。ブログは4段階レシピにおける自己強制の役割を特に説明している。わずかに予測を誤った物体は後続フレームの文脈になり、誤差が累積しうるため、短区間の映像が正常でも長期の推論が使えるとは限らない。基盤はMixture-of-Transformersで、独立したテキスト処理ネットワークと視覚生成ネットワークをアテンションで接続し、キー・バリューキャッシュが次の予測のためにアテンション情報を保持する。こうした構造から、オフライン合成とストリーミング推論は2つの異なる工学的形態であり、スループットの見積もりを共用できない。

導入と評価の提案

以下は本報道に基づく条件付きの分析であり、報道事実ではなく提案である。 判断1:シミュレータでレンダリングするか、動作から直接予測するか。報道は前提の異なる2つのチェックポイントを示している。Sim-Transferの入力はシミュレータが算出した動き、接触、物理状態で、空間制御とテキストプロンプトを経て色の観測にレンダリングされる。Sim-Bimanualは1枚の画像から出発し、動作に従って次の観測を直接生成する。信頼できる物理シミュレータが既にあり、ポリシー訓練に写真級のリアルな観測が必要ならSim-Transferを選ぶ。コストは主に制御チャネルの準備に掛かる。ボトルネックがシミュレータの不在で、収集済みの双腕操作データしかないならSim-Bimanualがより直接的だ。ただし自分の本体がYAMかAgiBotの範囲内にあるか、スキーマに沿って動作をリターゲティングする意思が必要になる。測定可能な受け入れ基準は、ホールドアウトのepisodeで生成観測と入力制御の幾何学的整合性を比べることだ。例えば生成フレームのセグメンテーション領域と入力セグメンテーション制御の重なり具合、深度の順序関係が制御に合うかを見る。さらに、この生成観測で訓練したポリシーのホールドアウトepisodeでの成功率がベースラインからどう変わるかを見る。 判断2:公開されたSim-Autoをそのまま使うか、まず自社の運転データでTransfer-Autoを事後学習してから蒸留するか。報道は経路依存を明記している。Sim-AutoはTransfer-Autoを因果訓練と少ステップ蒸留して得たストリーミング変種であり、新しいセンサー構成や領域に直面した場合、公式はまずTransfer-Autoを適応させ、その後Sim-Autoへ蒸留することを勧めている。カメラ配置、LiDAR構成、対象環境がチェックポイントのカバー範囲と一致するなら、公開されたSim-Autoでストリーミング推論を行うのが短い経路だ。一致しない場合、コストは4段階の事後学習と蒸留の2段階の工程になり、完全な訓練チェックポイントを復元用に保持する必要がある。エクスポートされた推論用重みには最適化器やその他の訓練状態が含まれないためだ。測定可能な受け入れ基準は、まず小規模なホールドアウトepisodeで訓練と再起動が通るかを確かめることだ。ブログは短い実行の成功は実行を確かめるだけで収束を確かめないと示唆している。次に長期のロールアウト推論でのドリフトを測る。例えば同一シーンでN番目のタイル以降もカメラとLiDARの同期が成立するか、制御変化後の応答遅延が安定しているかを見る。 判断3:クローズドループの対話を今行うか。報道によれば、クローズドループの対話にはシミュレーションランタイムとWSMレンダラーが制御を継続更新する必要があり、このランタイムは重みに含まれない。オフラインの合成データだけなら省略できる。ポリシーが制御にどう応答するかを研究するのが目的なら、ランタイムとレンダラーを工数見積もりに含め、単一フレームの画質だけでなく制御変化後の応答遅延を定量指標にすべきだ。

制限と未確認事項

忠実性と適用範囲について、報道自体はベンチマークの数字を示していない。ブログの説明は、今後の作業がモデルがポリシー学習と評価を忠実に支えられる範囲を測り、限界を理解することだとしており、公開元は横並び比較に使える忠実性の結果をまだ公開していない。技術レポートとデモページはリンクされているが、今回の時点で第三者の再現は見当たらず、本文はその品質について結論を出さない。基盤と能力の記述はNVIDIA自身のブログによるもので、公開元の自己申告である。 ライセンスは原文のまま伝える。モデルはOpenMDW1.1を採用し、その条項の下で商用・非商用利用を認めている。重みがHugging Faceでダウンロードできることは、任意の条件で使えることと同じではない。具体的な権限はライセンス条項そのものを読む必要がある。 可用性は明確にすべきだ。Cosmos 3およびこれら4つのチェックポイントはKimiSeekの現在のカタログに対応する項目がなく、本文もオンラインサービスとして挙げていない。重みの取得、ホスティング、実行方法はNVIDIAとHugging Faceの公開情報に従う。ハードウェアの下限も不明で、ブログはvLLM-Omni構成を1台のGB200でテストしたと述べるだけで、これが最低VRAM仕様ではないと強調している。報道日は2026年11月5日であり、その後、重み、ライセンス条項、動作要件に更新があれば公開元のページに従うべきだ。

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

NVIDIA 发布面向交互式世界模拟的 Cosmos 3 新开放模型

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。