← Toutes les actualités

NVIDIA Cosmos 3 : quatre nouveaux points de contrôle à poids ouverts pour la conduite multi-capteurs et la simulation bimanuelle

Selon un blog de NVIDIA du 5 novembre 2026, la famille Cosmos 3 accueille quatre points de contrôle à poids ouverts post-entraînés sur Cosmos 3 Nano, de 16B de paramètres entraînables chacun, couvrant la génération multi-capteurs pour la conduite, la simulation en flux, le rendu par simulateur et la prédiction d'actions bimanuelles, sous licence OpenMDW1.1.

Publication Mise à jour
Image de couverture de l’article original — NVIDIA Cosmos 3 : quatre nouveaux points de contrôle à poids ouverts pour la conduite multi-capteurs et la simulation bimanuelle
Image de couverture de l’article originalArticle original ↗

Ce qui change

Dans un blog du 5 novembre 2026, NVIDIA présente quatre points de contrôle à poids ouverts de la famille Cosmos 3, dont les poids figurent dans la collection Cosmos3 sur Hugging Face, accompagnés d'un rapport technique et d'une page de démonstration. Les quatre modèles sont décrits comme des exemples de post-entraînement de Cosmos 3 Nano, forts de 16B de paramètres entraînables chacun, sous licence OpenMDW1.1. La répartition des rôles est la suivante : Cosmos3-Nano-Transfer-Auto est un modèle hors ligne bidirectionnel qui génère des vidéos synchrones jusqu'à 11 points de vue de caméra (poisson-globe compris) et prend en charge la génération conjointe RGB et LiDAR, le graphe de scène-monde (WSM) par caméra contrôlant la structure de la scène et le mouvement du trafic, les invites textuelles guidant l'apparence ; Cosmos3-Nano-Sim-Auto est la variante en flux de Transfer-Auto après distillation causale, qui produit en continu des blocs synchrones de caméra et de LiDAR avec un faible nombre d'étapes de débruitage, l'interaction en boucle fermée nécessitant un runtime de simulation et un moteur de rendu WSM ; Cosmos3-Nano-Sim-Transfer rend en RGB exploitable par une politique les contrôles spatiaux d'un simulateur physique (profondeur, segmentation, contours, flou) associés à des invites textuelles, la physique et l'état de vérité terrain restant dans le simulateur ; Cosmos3-Nano-Sim-Bimanual prédit directement l'observation suivante à partir de la scène et des actions du robot, et prend en charge les corps bimanuels YAM et AgiBot. La recette de post-entraînement se déroule en quatre étapes : adaptation bidirectionnelle, teacher forcing, distillation par consistance, self-forcing ; le self-forcing expose l'entraînement à l'historique généré par le modèle étudiant lui-même, afin d'atténuer l'accumulation d'erreurs. Les exigences d'exécution annoncées par l'éditeur sont Linux, un GPU NVIDIA, Docker et le NVIDIA Container Toolkit, et il précise que la configuration vLLM-Omni publiée a été testée sur une seule GB200, sans que cela constitue une spécification minimale de mémoire vidéo.

Conséquences pour les développeurs

La première conséquence pour les développeurs concerne la forme d'intégration : il ne s'agit pas d'une API qu'on appelle en changeant de nom de modèle, mais d'une pile d'inférence auto-hébergée nécessitant Linux, un GPU NVIDIA, Docker et le NVIDIA Container Toolkit. Le blog indique que la configuration vLLM-Omni publiée a été testée sur une seule GB200 et précise explicitement qu'il ne s'agit pas d'une spécification minimale de mémoire vidéo ; la limite basse de mémoire, la faisabilité sur une seule carte et le temps de génération par bloc ne sont pas chiffrés dans le corps du blog, le budget de déploiement ne peut donc être établi que par ses propres mesures. Les deux voies de rendu reposent sur des prémisses différentes, et le choix est très concret. Sim-Transfer laisse le mouvement, les contacts et l'état physique au simulateur ; le modèle se contente de rendre en RGB des contrôles spatiaux comme la profondeur, la segmentation, les contours ou le flou, associés à des invites textuelles. L'avantage est que la physique et l'état de vérité terrain restent du côté du simulateur ; le coût est qu'il faut disposer au préalable d'un simulateur utilisable et de ces canaux de contrôle. Sim-Bimanual prédit directement l'observation suivante à partir de la scène et des actions du robot, ce qui supprime le simulateur, mais impose de respecter son contrat de données : T transitions nécessitent T+1 observations, l'exemple d'actions mixtes utilise 59 valeurs de contrôle, complétées à 64 à l'entraînement, et le système de coordonnées, les rotations, la calibration de la pince et les masques de validité sont soumis à des contraintes de schéma ; les actions d'inférence publiées sont déjà normalisées. La source ne fait qu'énumérer ces conventions, sans décrire comment les sorties se déforment ou si une erreur est levée en cas de non-respect ; la validation du format doit donc être considérée comme une étape à tester soi-même. La génération en flux détermine le cadre d'évaluation. Le modèle fonctionne sur des latents compressés : après l'image initiale, chaque pas de temps latent représente quatre images RGB ; Transfer prédit un pas par bloc, et la configuration Bimanual optimisée du rapport en prédit deux ; plus le bloc est petit, plus les nouveaux contrôles influencent fréquemment la génération. Le blog explique spécifiquement le rôle du self-forcing dans la recette en quatre étapes : un objet légèrement mal prédit devient le contexte des images suivantes, l'erreur peut s'accumuler, et des images correctes sur courte durée ne garantissent donc pas la validité d'une projection longue. La base est un Mixture-of-Transformers, qui relie par attention un réseau de traitement du texte et un réseau de génération visuelle distincts, le cache clé-valeur conservant les informations d'attention pour la prédiction suivante ; ces structures font de la synthèse hors ligne et de la projection en flux deux formes d'ingénierie distinctes, dont les attentes de débit ne peuvent être mutualisées.

Intégration et évaluation

Analyse conditionnelle fondée sur cette source, à titre de recommandation et non de fait rapporté. Décision un : rendu par simulateur ou prédiction directe à partir des actions. La source présente deux points de contrôle aux prémisses différentes — Sim-Transfer reçoit en entrée le mouvement, les contacts et l'état physique calculés par le simulateur et les rend en observations couleur via des contrôles spatiaux et des invites textuelles ; Sim-Bimanual part d'une image et génère directement l'observation suivante selon les actions. Si vous disposez déjà d'un simulateur physique fiable et que l'entraînement de votre politique exige des observations photo-réalistes, choisissez Sim-Transfer, le coût portant principalement sur la préparation des canaux de contrôle ; si le goulot d'étranglement est l'absence de simulateur et que vous ne disposez que de données de manipulation bimanuelle déjà collectées, Sim-Bimanual est plus direct, à condition que votre corps soit couvert par YAM ou AgiBot, ou que vous acceptiez de faire du remappage d'actions selon le schéma. Critères d'acceptation mesurables : comparer sur des épisodes d'un jeu de validation la cohérence géométrique entre observations générées et contrôles d'entrée, par exemple le recouvrement entre les zones segmentées des images générées et le contrôle de segmentation fourni, ou la conformité de l'ordre des profondeurs au contrôle ; puis mesurer l'évolution du taux de réussite sur des épisodes de validation d'une politique entraînée sur ces observations générées, par rapport à une ligne de base. Décision deux : utiliser directement le Sim-Auto publié, ou d'abord post-entraîner Transfer-Auto sur ses propres données de conduite puis le distiller. La source indique explicitement une dépendance de parcours : Sim-Auto est la variante en flux issue de Transfer-Auto via entraînement causal et distillation en peu d'étapes ; face à une nouvelle configuration de capteurs ou un nouveau domaine, l'éditeur recommande d'abord d'adapter Transfer-Auto, puis de le distiller en Sim-Auto. Si la disposition des caméras, la configuration LiDAR et l'environnement cible correspondent à la couverture du point de contrôle, utiliser directement le Sim-Auto publié pour la projection en flux est le chemin le plus court ; en cas d'écart, le coût devient un projet en deux temps, post-entraînement en quatre étapes puis distillation, et il faut conserver les points de contrôle d'entraînement complets pour pouvoir reprendre, car les poids d'inférence exportés ne contiennent ni l'optimiseur ni les autres états d'entraînement. Critères d'acceptation mesurables : vérifier d'abord sur un petit jeu d'épisodes de validation que l'entraînement et le redémarrage fonctionnent, le blog signalant qu'un entraînement court ne valide que l'exécution, pas la convergence ; puis mesurer la dérive lors d'une projection longue, par exemple si la synchronisation caméra-LiDAR reste valable au-delà du N-ième bloc dans une même scène, et si le délai de réponse après un changement de contrôle reste stable. Décision trois : faut-il faire de l'interaction en boucle fermée dès maintenant. La source indique que l'interaction en boucle fermée exige un runtime de simulation et un moteur de rendu WSM mettant à jour les contrôles en continu, ce runtime n'étant pas inclus dans les poids. La synthèse de données hors ligne peut s'en passer ; si l'objectif est d'étudier la réponse d'une politique aux contrôles, il faut intégrer le runtime et le moteur de rendu au budget d'ingénierie et retenir le délai de réponse après changement de contrôle comme indicateur quantitatif, plutôt que la seule qualité d'une image isolée.

Limites et points à confirmer

La source ne fournit elle-même aucun chiffre de référence sur la fidélité et les limites d'application. Le blog indique que le travail à venir consiste à mesurer en quoi le modèle soutient fidèlement l'apprentissage et l'évaluation de politiques, et à comprendre ses limites : l'éditeur n'a donc pas encore publié de résultats de fidélité permettant une comparaison transversale ; le rapport technique et la page de démonstration sont liés, mais aucune reproduction par un tiers n'a été vue dans cette édition, et le présent article ne se prononce pas sur sa qualité. La description de la base et des capacités provient du blog de NVIDIA lui-même, il s'agit d'une déclaration de l'éditeur. Sur la licence, on ne fait que reprendre la source : les modèles utilisent OpenMDW1.1 et permettent un usage commercial et non commercial dans le cadre de ses conditions. Le téléchargement des poids sur Hugging Face ne signifie pas qu'ils peuvent être utilisés à n'importe quelles conditions ; les droits précis nécessitent la lecture des termes de la licence elle-même. La disponibilité doit être précisée : Cosmos 3 et ces quatre points de contrôle n'ont pas d'entrée correspondante dans le catalogue actuel de KimiSeek, et le présent article ne les présente pas comme un service en ligne ; l'obtention, l'hébergement et l'exécution des poids relèvent de la publication par NVIDIA et Hugging Face. La limite matérielle basse reste inconnue : le blog indique seulement que la configuration vLLM-Omni a été testée sur une GB200 et souligne qu'il ne s'agit pas d'une spécification minimale de mémoire vidéo. La date de la source est le 5 novembre 2026 ; en cas de mise à jour ultérieure des poids, des termes de licence ou des exigences d'exécution, les pages de l'éditeur font foi.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

NVIDIA 发布面向交互式世界模拟的 Cosmos 3 新开放模型

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.