NVIDIA Cosmos 3: Vier neue Open-Weights-Checkpoints für Multi-Sensor-Fahrdaten und beidarmige Bewegung – zuerst die Deployment-Voraussetzungen klären
Laut einem NVIDIA-Blog vom 5. November 2026 kommen vier auf Cosmos 3 Nano nachtrainierte Open-Weights-Checkpoints der Cosmos-3-Familie hinzu, jeder mit 16B trainierbaren Parametern. Sie decken Multi-Sensor-Generierung fürs Fahren, Streaming-Simulation, Simulator-Rendering und beidarmige Aktionsvorhersage ab und stehen unter der OpenMDW1.1-Lizenz.

Was sich geändert hat
NVIDIA stellte in einem Blog vom 5. November 2026 vier Open-Weights-Checkpoints der Cosmos-3-Familie vor, deren Gewichte in der Cosmos3-Sammlung auf Hugging Face liegen, zusammen mit einem technischen Bericht und Demoseiten. Die vier Modelle werden als nachtrainierte Beispiele von Cosmos 3 Nano beschrieben, jedes mit 16B trainierbaren Parametern und unter der OpenMDW1.1-Lizenz. Die Aufteilung: Cosmos3-Nano-Transfer-Auto ist ein offline arbeitendes bidirektionales Modell, das synchrone Videos aus bis zu 11 Kameraperspektiven (einschließlich Fischaugen) erzeugt und die gemeinsame Generierung von RGB und LiDAR unterstützt; ein World Scene Graph (WSM) pro Kamera steuert Szenenstruktur und Verkehrsbewegung, Text-Prompts die Optik. Cosmos3-Nano-Sim-Auto ist eine durch kausale Destillation aus Transfer-Auto entstandene Streaming-Variante, die mit wenigen Denoising-Schritten kontinuierlich synchrone Kamera- und LiDAR-Kacheln liefert; geschlossene Interaktion benötigt eine Simulations-Laufzeitumgebung und einen WSM-Renderer. Cosmos3-Nano-Sim-Transfer rendert räumliche Steuerungen eines Physiksimulators (Tiefe, Segmentierung, Kanten, Unschärfe) plus Text-Prompts zu RGB, das eine Policy verarbeiten kann; Physik und Ground-Truth-Zustand bleiben im Simulator. Cosmos3-Nano-Sim-Bimanual sagt die nächste Beobachtung direkt aus Szene und Roboteraktion voraus und unterstützt die beidarmigen Körper YAM und AgiBot. Das Nachtrainingsrezept hat vier Stufen: bidirektionale Anpassung, Teacher Forcing, Konsistenzdestillation und Self-Forcing; Self-Forcing setzt das Training der vom Schülermodell selbst erzeugten Historie aus, um Fehlerakkumulation zu mildern. Die Laufzeitanforderungen des Anbieters: Linux, NVIDIA-GPU, Docker und NVIDIA Container Toolkit. Zudem sei die veröffentlichte vLLM-Omni-Konfiguration auf einer GB200 getestet worden, was keine Mindest-VRAM-Angabe sei.
Auswirkungen für Entwickler
Für Entwickler heißt das zuerst: Es ist keine Schnittstelle, die man durch einen Modellnamen aufruft, sondern ein selbst betriebener Inferenz-Stack mit Linux, NVIDIA-GPU, Docker und NVIDIA Container Toolkit. Laut Blog wurde die vLLM-Omni-Konfiguration auf einer GB200 getestet, ausdrücklich ohne Mindest-VRAM-Spezifikation; untere VRAM-Grenze, Machbarkeit auf einer einzelnen Karte und Generierungsdauer pro Kachel nennt der Blog nicht, das Deployment-Budget muss man selbst messen. Die Voraussetzungen der beiden Rendering-Pfade unterscheiden sich, die Abwägung ist konkret. Sim-Transfer überlässt Bewegung, Kontakt und Physikzustand dem Simulator, das Modell rendert nur räumliche Steuerungen wie Tiefe, Segmentierung, Kanten oder Unschärfe plus Text zu RGB; Vorteil ist, dass Physik und Ground Truth beim Simulator bleiben, Preis ist ein nutzbarer Simulator und diese Steuerkanäle. Sim-Bimanual sagt die nächste Beobachtung direkt aus Szene und Roboteraktion voraus und spart den Simulator, verlangt aber Einhaltung des Datenvertrags: T Übergänge brauchen T+1 Beobachtungen, gemischte Aktionsbeispiele nutzen 59 Steuerwerte, im Training auf 64 aufgefüllt; Koordinatensystem, Rotation, Greifer-Kalibrierung und Gültigkeitsmasken sind per Schema festgelegt, die veröffentlichten Inferenzaktionen sind normalisiert. Der Originaltext listet nur diese Konventionen, beschreibt aber nicht, wie Ausgaben bei Abweichung verzerrt werden oder ob Fehler auftreten; Formatprüfung ist daher Pflicht zum Selbsttest. Streaming bestimmt den Bewertungsmaßstab. Das Modell arbeitet auf komprimierten Latents; nach dem Startbild steht jeder Latent-Zeitschritt für vier RGB-Frames. Transfer sagt pro Kachel einen Schritt voraus, die optimierte Bimanual-Konfiguration im Bericht zwei; je kleiner die Kachel, desto häufiger wirkt eine neue Steuerung auf die Generierung. Der Blog erklärt eigens die Rolle von Self-Forcing im vierstufigen Rezept: leicht falsch vorhergesagte Objekte werden Kontext späterer Frames, Fehler können sich akkumulieren – kurze Sequenzen, die stimmen, belegen also keine langfristige Simulation. Die Architektur des Basismodells ist ein Mixture-of-Transformers, das ein separates Textverarbeitungsnetz und ein visuelles Generierungsnetz über Attention verbindet; der Key-Value-Cache hält Attention-Informationen für die nächste Vorhersage. Diese Struktur macht Offline-Synthese und Streaming-Inferenz zu zwei verschiedenen Engineering-Formen, Durchsatzerwartungen sind nicht übertragbar.
Integration und Bewertung
Das Folgende ist eine bedingte Analyse auf Basis des Berichts, also Empfehlung und keine berichtete Tatsache. Entscheidung eins: Simulator-Rendering oder direkte Aktionsvorhersage. Der Bericht nennt zwei Checkpoints mit unterschiedlichen Voraussetzungen – Sim-Transfer bekommt vom Simulator berechnete Bewegung, Kontakt und Physikzustand und rendert daraus über räumliche Steuerung und Text farbige Beobachtungen; Sim-Bimanual startet von einem Bild und erzeugt aus Aktionen die nächste Beobachtung. Wer einen vertrauenswürdigen Physiksimulator hat und fotorealistische Beobachtungen fürs Policy-Training braucht, wählt Sim-Transfer; der Aufwand liegt vor allem in den Steuerkanälen. Ist der Engpass das Fehlen eines Simulators und liegen nur beidarmige Manipulationsdaten vor, ist Sim-Bimanual direkter – sofern der eigene Körper von YAM oder AgiBot abgedeckt ist oder man Aktions-Retargeting nach Schema betreibt. Messbare Abnahmekriterien: auf zurückgehaltenen Episoden die geometrische Konsistenz von erzeugter Beobachtung und Eingabesteuerung prüfen, etwa Überlappung der Segmentierungsbereiche erzeugter Frames mit der Segmentierungssteuerung und ob die Tiefenreihenfolge zur Steuerung passt; dann die Erfolgsrate einer auf diesen Beobachtungen trainierten Policy auf zurückgehaltenen Episoden gegen eine Baseline vergleichen. Entscheidung zwei: direkt das veröffentlichte Sim-Auto nutzen oder zuerst Transfer-Auto auf eigenen Fahrdaten nachtrainieren und destillieren. Der Bericht nennt die Pfadabhängigkeit explizit: Sim-Auto ist die durch kausales Training und Wenig-Schritt-Destillation gewonnene Streaming-Variante von Transfer-Auto; bei neuen Sensorkonfigurationen oder Domänen empfiehlt der Anbieter, zuerst Transfer-Auto anzupassen und dann zu Sim-Auto zu destillieren. Stimmen Kameralayout, LiDAR-Konfiguration und Zielumgebung mit der Abdeckung des Checkpoints überein, ist das veröffentlichte Sim-Auto für Streaming der kürzere Weg; sonst wird daraus ein zweistufiges Projekt aus vierstufigem Nachtraining plus Destillation, wobei vollständige Trainings-Checkpoints für die Wiederaufnahme erhalten bleiben müssen, da exportierte Inferenzgewichte Optimierer und weiteren Trainingszustand nicht enthalten. Messbare Abnahmekriterien: zuerst auf kleinen zurückgehaltenen Episoden prüfen, ob Training und Neustart laufen – ein kurzer Lauf belegt laut Blog nur die Ausführung, nicht die Konvergenz; dann Drift im langen Rollout messen, etwa ob Kamera- und LiDAR-Synchronität einer Szene nach der N-ten Kachel noch gilt und ob die Antwortlatenz nach Steuerungsänderungen stabil bleibt. Entscheidung drei: geschlossene Interaktion jetzt umsetzen? Laut Bericht braucht sie eine Simulations-Laufzeitumgebung und einen WSM-Renderer, die die Steuerung laufend aktualisieren; diese Laufzeit ist nicht in den Gewichten enthalten. Reine Offline-Synthetik kann darauf verzichten; wer untersuchen will, wie eine Policy auf Steuerung reagiert, muss Laufzeit und Renderer ins Engineering-Budget nehmen und die Antwortlatenz nach Steuerungsänderungen als Kennzahl nutzen statt nur die Bildqualität einzelner Frames.
Grenzen und offene Fragen
Zu Treue und Geltungsgrenzen nennt der Bericht selbst keine Benchmark-Zahlen. Der Blog sagt, nächste Aufgabe sei zu messen, wo die Modelle Policy-Lernen und -Evaluation treu unterstützen, und die Grenzen zu verstehen; belastbare Vergleichswerte zur Treue hat der Anbieter also noch nicht veröffentlicht. Technischer Bericht und Demoseite sind verlinkt, eine unabhängige Reproduktion lag in dieser Runde nicht vor; dieses Artikelurteil enthält keine Aussage zur Qualität. Basis- und Fähigkeitsbeschreibungen stammen aus NVIDIAs eigenem Blog und sind Selbstauskunft des Anbieters. Zur Lizenz nur die Wiedergabe des Originals: Die Modelle nutzen OpenMDW1.1 und erlauben danach kommerzielle und nichtkommerzielle Nutzung zu ihren Bedingungen. Dass die Gewichte auf Hugging Face herunterladbar sind, heißt nicht, dass sie zu beliebigen Bedingungen genutzt werden dürfen; die konkreten Rechte stehen in den Lizenzbedingungen selbst. Zur Verfügbarkeit: Cosmos 3 und diese vier Checkpoints haben keinen Eintrag im aktuellen KimiSeek-Katalog, und dieser Artikel führt sie auch nicht als Online-Dienst. Bezug, Hosting und Betrieb der Gewichte richten sich nach der Veröffentlichung von NVIDIA und Hugging Face. Auch die Hardware-Untergrenze ist unbekannt; der Blog nennt nur den Test der vLLM-Omni-Konfiguration auf einer GB200 und betont, das sei keine Mindest-VRAM-Angabe. Berichtsdatum ist der 5. November 2026; bei späteren Änderungen an Gewichten, Lizenzbedingungen oder Laufzeitanforderungen gelten die Seiten des Anbieters.