← Todas las noticias

NVIDIA Cosmos 3 añade cuatro checkpoints de pesos abiertos: generación multisensor para conducción y simulación bimanual; requisitos de despliegue

Según el blog de NVIDIA del 5 de noviembre de 2026, la familia Cosmos 3 añade cuatro checkpoints de pesos abiertos entrenados a partir de Cosmos 3 Nano, con 16B de parámetros entrenables cada uno, que cubren generación multisensorial para conducción, simulación en streaming, renderizado de simulador y predicción de acciones bimanuales, bajo licencia OpenMDW1.1.

Publicado Actualizado
Portada de la noticia original — NVIDIA Cosmos 3 añade cuatro checkpoints de pesos abiertos: generación multisensor para conducción y simulación bimanual; requisitos de despliegue
Portada de la noticia originalNoticia original ↗

Qué ha cambiado

NVIDIA publicó en su blog del 5 de noviembre de 2026 cuatro checkpoints de pesos abiertos de la familia Cosmos 3, con los pesos alojados en la colección Cosmos3 de Hugging Face, junto con un informe técnico y una página de demostración. Los cuatro modelos se describen como ejemplos de postentrenamiento de Cosmos 3 Nano, con 16B de parámetros entrenables cada uno, bajo licencia OpenMDW1.1. La división de tareas es: Cosmos3-Nano-Transfer-Auto es un modelo bidireccional offline que genera vídeo sincronizado de hasta 11 cámaras (incluida ojo de pez) y admite generación conjunta de RGB y LiDAR, con un grafo de escena mundial (WSM) por cámara que controla la estructura de la escena y el movimiento del tráfico, y prompts de texto que guían la apariencia; Cosmos3-Nano-Sim-Auto es la variante en streaming de Transfer-Auto tras destilación causal, que produce continuamente pequeños bloques sincronizados de cámaras y LiDAR con pocos pasos de eliminación de ruido, y cuya interacción en bucle cerrado requiere un runtime de simulación y un renderizador WSM; Cosmos3-Nano-Sim-Transfer renderiza el control espacial de un simulador físico (profundidad, segmentación, bordes, desenfoque) y prompts de texto en RGB consumible por políticas, mientras la física y el estado de verdad fundamental permanecen en el simulador; Cosmos3-Nano-Sim-Bimanual predice directamente la siguiente observación a partir de la escena y las acciones del robot, y admite los cuerpos bimanuales YAM y AgiBot. La receta de postentrenamiento tiene cuatro fases: adaptación bidireccional, teacher forcing, destilación de consistencia y self-forcing; el self-forcing expone el entrenamiento al historial generado por el propio modelo estudiante para mitigar la acumulación de errores. Los requisitos de ejecución indicados por el emisor son Linux, GPU NVIDIA, Docker y NVIDIA Container Toolkit, y se señala que la configuración publicada de vLLM-Omni se probó en una GB200, lo que no es una especificación mínima de memoria de vídeo.

Impacto para desarrolladores

La primera implicación de este lanzamiento para los desarrolladores es la forma de integración: no es una interfaz que se llame cambiando el nombre del modelo, sino una pila de inferencia autoalojada que requiere Linux, GPU NVIDIA, Docker y NVIDIA Container Toolkit. El blog afirma que la configuración publicada de vLLM-Omni se probó en una GB200 y aclara explícitamente que no es una especificación mínima de memoria de vídeo; el mínimo de memoria, si una sola tarjeta basta y el tiempo de generación por bloque no aparecen como cifras en el cuerpo del blog, así que el presupuesto de despliegue solo puede medirse uno mismo. Las dos rutas de renderizado parten de premisas distintas y la elección es muy concreta. Sim-Transfer deja el movimiento, el contacto y el estado físico al simulador, y el modelo solo renderiza en RGB controles espaciales como profundidad, segmentación, bordes o desenfoque junto con prompts de texto; la ventaja es que la física y el estado de verdad fundamental siguen del lado del simulador, a cambio de disponer ya de un simulador utilizable y de esos canales de control. Sim-Bimanual predice directamente la siguiente observación a partir de la escena y las acciones del robot, prescindiendo del simulador, pero exige alinearse con su contrato de datos: T transiciones requieren T+1 observaciones, los ejemplos de acciones mixtas usan 59 valores de control rellenados a 64 durante el entrenamiento, y el sistema de coordenadas, la rotación, la calibración de la pinza y las máscaras de validez tienen restricciones de esquema, con las acciones de inferencia publicadas ya normalizadas. El original solo enumera estas convenciones y no describe cómo se deformaría la salida ni si se produciría un error al no cumplirlas, por lo que la validación de formato debe tratarse como un paso obligatorio de prueba propia. La generación en streaming determina el criterio de evaluación. El modelo opera sobre latentes comprimidos: tras la imagen inicial, cada paso temporal latente representa cuatro fotogramas RGB, Transfer predice un paso por bloque y la configuración optimizada de Bimanual en el informe predice dos pasos; cuanto menor es el bloque, mayor es la frecuencia con que los nuevos controles influyen en la generación. El blog explica específicamente el papel del self-forcing en la receta de cuatro fases: un objeto ligeramente mal predicho se convierte en contexto de los fotogramas siguientes y el error puede acumularse, así que un tramo corto correcto no implica que la simulación a largo plazo sea utilizable. La base es Mixture-of-Transformers, que conecta mediante atención una red de procesamiento de texto y una red de generación visual independientes, y la caché de clave-valor conserva la información de atención para la siguiente predicción; estas estructuras hacen que la síntesis offline y la simulación en streaming sean dos formas de ingeniería distintas, y las expectativas de rendimiento no pueden compartirse.

Integración y evaluación

Lo siguiente es un análisis condicional basado en este informe, y son recomendaciones, no hechos reportados. Decisión uno: renderizar con simulador o predecir directamente a partir de acciones. El informe ofrece dos checkpoints con premisas distintas: la entrada de Sim-Transfer es el movimiento, contacto y estado físico calculados por el simulador, renderizados como observación de color mediante control espacial y prompts de texto; Sim-Bimanual parte de una imagen y genera la siguiente observación directamente según la acción. Si ya dispone de un simulador físico fiable y el entrenamiento de la política necesita observaciones fotorrealistas, elija Sim-Transfer, cuyo coste recae sobre todo en preparar los canales de control; si el cuello de botella es no tener simulador y solo disponer de datos bimanuales ya recogidos, Sim-Bimanual es más directo, siempre que su cuerpo esté cubierto por YAM o AgiBot o esté dispuesto a reorientar acciones según el esquema. Criterio de aceptación medible: comparar en episodios del conjunto reservado la coherencia geométrica entre la observación generada y el control de entrada, por ejemplo el solapamiento entre la región segmentada del fotograma generado y el control de segmentación de entrada, o si el orden de profundidad respeta el control; después, ver el cambio de tasa de éxito respecto a la línea base en episodios reservados de una política entrenada con estas observaciones generadas. Decisión dos: usar directamente el Sim-Auto publicado o postentrenar primero Transfer-Auto con datos propios de conducción y luego destilar. El informe indica claramente la dependencia de ruta: Sim-Auto es la variante en streaming obtenida de Transfer-Auto mediante entrenamiento causal y destilación de pocos pasos, y ante nuevas configuraciones de sensores o dominios el emisor recomienda adaptar primero Transfer-Auto y luego destilar a Sim-Auto. Si la disposición de cámaras, la configuración LiDAR y el entorno objetivo coinciden con la cobertura del checkpoint, usar directamente el Sim-Auto publicado para simulación en streaming es el camino más corto; en caso contrario, el coste pasa a ser una ingeniería en dos etapas de postentrenamiento en cuatro fases más destilación, y hay que conservar el checkpoint completo de entrenamiento para poder reanudar, porque los pesos de inferencia exportados no incluyen el optimizador ni otro estado de entrenamiento. Criterio de aceptación medible: verificar primero con pocos episodios del conjunto reservado que el entrenamiento y el reinicio funcionan, ya que el blog advierte que una ejecución corta solo valida la ejecución, no la convergencia; después medir la deriva en la simulación continua a largo plazo, por ejemplo si la sincronización entre cámara y LiDAR sigue cumpliéndose tras el bloque N en la misma escena y si la latencia de respuesta ante cambios de control es estable. Decisión tres: si conviene hacer ahora la interacción en bucle cerrado. El informe afirma que la interacción en bucle cerrado requiere que el runtime de simulación y el renderizador WSM actualicen continuamente el control, y ese runtime no está en los pesos. Si solo se generan datos sintéticos offline, puede omitirse; si el objetivo es estudiar cómo responde la política al control, hay que incluir el runtime y el renderizador en el presupuesto de ingeniería y usar como métrica cuantitativa la latencia de respuesta tras un cambio de control, en lugar de fijarse solo en la calidad de un fotograma.

Límites y cuestiones pendientes

Sobre la fidelidad y los límites de aplicación, el informe no ofrece cifras de referencia. El blog afirma que el siguiente trabajo es medir en qué aspectos el modelo puede apoyar fielmente el aprendizaje y la evaluación de políticas y comprender sus limitaciones, es decir, el emisor aún no ha publicado resultados de fidelidad comparables horizontalmente; el informe técnico y la página de demostración están enlazados, pero en esta ronda no se ha visto reproducción de terceros, y este artículo no concluye sobre su calidad. La descripción de la base y las capacidades proviene del propio blog de NVIDIA y es una afirmación del emisor. Sobre la licencia, solo se transcribe el original: los modelos usan OpenMDW1.1 y permiten uso comercial y no comercial bajo sus términos. Que los pesos puedan descargarse en Hugging Face no equivale a poder usarlos en cualquier condición; los permisos concretos requieren leer los términos de la licencia. La disponibilidad debe quedar clara: Cosmos 3 y estos cuatro checkpoints no tienen entrada correspondiente en el catálogo actual de KimiSeek, y este artículo tampoco los presenta como ningún servicio en línea; la obtención, el alojamiento y la forma de ejecución de sus pesos se rigen por la publicación de NVIDIA y Hugging Face. El mínimo de hardware también es desconocido: el blog solo indica que la configuración de vLLM-Omni se probó en una GB200 y subraya que no es una especificación mínima de memoria de vídeo. La fecha del informe es el 5 de noviembre de 2026; si posteriormente cambian los pesos, los términos de licencia o los requisitos de ejecución, debe atenderse a la página del emisor.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

NVIDIA 发布面向交互式世界模拟的 Cosmos 3 新开放模型

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.