← 전체 모델 소식

NVIDIA Cosmos 3, 4개의 오픈 웨이트 체크포인트 추가: 주행 멀티센서 및 양팔 시뮬레이션, 먼저 배포 전제 파악해야

NVIDIA의 2026년 11월 5일 블로그에 따르면, Cosmos 3 제품군에 Cosmos 3 Nano 기반으로 사후 학습된 오픈 웨이트 체크포인트 4개가 추가되었다. 각각 16B 학습 가능 파라미터를 가지며 주행 멀티센서 생성, 스트리밍 시뮬레이션, 시뮬레이터 렌더링, 양팔 동작 예측을 다루고 OpenMDW1.1 라이선스를 사용한다.

게시 수정
원문 보도의 표지 이미지 — NVIDIA Cosmos 3, 4개의 오픈 웨이트 체크포인트 추가: 주행 멀티센서 및 양팔 시뮬레이션, 먼저 배포 전제 파악해야
원문 보도의 표지 이미지원문 보도 ↗

주요 변화

NVIDIA는 2026년 11월 5일 블로그에서 Cosmos 3 제품군의 오픈 웨이트 체크포인트 4개를 공개했다. 가중치는 Hugging Face의 Cosmos3 컬렉션에 포함되어 있으며 기술 보고서와 데모 페이지도 함께 제공된다. 네 모델은 Cosmos 3 Nano의 사후 학습 예시로 설명되며, 각각 16B 학습 가능 파라미터를 갖고 OpenMDW1.1 라이선스를 사용한다. 역할 분담은 다음과 같다. Cosmos3-Nano-Transfer-Auto는 오프라인 양방향 모델로, 최대 11개 카메라 시점(어안 포함)의 동기화된 영상을 생성하고 RGB와 LiDAR의 결합 생성을 지원한다. 카메라별 월드 씬 그래프(WSM)가 장면 구조와 교통 움직임을 제어하고, 텍스트 프롬프트가 외관을 유도한다. Cosmos3-Nano-Sim-Auto는 Transfer-Auto를 인과적 증류한 스트리밍 변형으로, 소량의 디노이징 단계로 동기화된 카메라와 LiDAR 타일을 연속 생성하며, 폐루프 상호작용에는 시뮬레이션 런타임과 WSM 렌더러가 필요하다. Cosmos3-Nano-Sim-Transfer는 물리 시뮬레이터의 공간 제어(깊이, 분할, 에지, 블러)와 텍스트 프롬프트를 정책이 소비할 수 있는 RGB로 렌더링하며, 물리와 정답 상태는 여전히 시뮬레이터에 남는다. Cosmos3-Nano-Sim-Bimanual은 장면과 로봇 동작에서 다음 관측을 직접 예측하며 YAM과 AgiBot 양팔 몸체를 지원한다. 사후 학습 레시피는 양방향 적응, 교사 강제, 일관성 증류, 자기 강제의 네 단계로 나뉜다. 자기 강제는 학습이 학생 모델이 스스로 생성한 이력에 접촉하도록 하여 오차 누적을 완화하는 데 쓰인다. 게시자가 제시한 실행 요건은 Linux, NVIDIA GPU, Docker, NVIDIA Container Toolkit이며, 공개된 vLLM-Omni 구성은 GB200 한 대에서 테스트되었다고 밝혔는데 이는 최소 VRAM 사양이 아니다.

개발자에게 미치는 영향

이번 발표가 개발자에게 주는 첫 번째 의미는 접속 형태다. 모델 이름만 바꿔 호출하는 인터페이스가 아니라 Linux, NVIDIA GPU, Docker, NVIDIA Container Toolkit이 필요한 자체 추론 스택이다. 블로그는 공개된 vLLM-Omni 구성이 GB200 한 대에서 테스트되었다고 밝히면서 이것이 최소 VRAM 사양은 아니라고 명시한다. VRAM 하한, 단일 카드 실행 가능 여부, 청크당 생성 소요 시간은 블로그 본문에 수치가 없으므로 배포 예산은 직접 측정해야 한다. 두 렌더링 경로의 전제는 다르고 선택은 매우 구체적이다. Sim-Transfer는 움직임, 접촉, 물리 상태를 시뮬레이터에 남기고 모델은 깊이, 분할, 에지, 블러 같은 공간 제어와 텍스트 프롬프트를 RGB로 렌더링만 한다. 장점은 물리와 정답 상태가 여전히 시뮬레이터 쪽에 있다는 것이고, 대가는 사용 가능한 시뮬레이터와 이런 제어 채널들을 먼저 갖춰야 한다는 점이다. Sim-Bimanual은 장면과 로봇 동작에서 다음 관측을 직접 예측해 시뮬레이터를 생략하지만 데이터 계약에 맞춰야 한다. T번의 전환에는 T+1개의 관측이 필요하고, 혼합 동작 예시는 제어 값 59개를 쓰며 학습 시 64개로 패딩된다. 좌표계, 회전, 그리퍼 보정, 유효성 마스크에는 스키마 제약이 있고, 공개된 추론 동작은 이미 정규화되어 있다. 원문은 이런 규약만 나열할 뿐 규약에 맞지 않을 때 출력이 어떻게 변형되는지, 오류가 나는지 설명하지 않으므로 형식 검증은 반드시 자체 테스트할 항목으로 봐야 한다. 스트리밍 생성은 평가 기준을 결정한다. 모델은 압축된 latent에서 동작하며, 초기 이미지 이후 각 latent 시간 단계는 RGB 네 프레임을 나타낸다. Transfer는 청크마다 한 단계를 예측하고, 보고서에서 최적화된 Bimanual 구성은 두 단계를 예측한다. 청크가 작을수록 새 제어가 생성에 영향을 주는 빈도가 높아진다. 블로그는 네 단계 레시피에서 자기 강제의 역할을 따로 설명한다. 약간 잘못 예측된 물체가 이후 프레임의 문맥이 되어 오차가 누적될 수 있으므로, 단거리 화면이 정상이라고 해서 장시간 추론이 쓸 만하다는 뜻은 아니다. 기반은 Mixture-of-Transformers로, 어텐션으로 독립적인 텍스트 처리 네트워크와 시각 생성 네트워크를 연결하고 키-값 캐시가 다음 예측을 위해 어텐션 정보를 보존한다. 이런 구조는 오프라인 합성과 스트리밍 추론이 서로 다른 두 가지 엔지니어링 형태임을 결정하며 처리량 기대치를 공유할 수 없다.

연동 및 평가 제안

다음은 해당 보도를 바탕으로 한 조건부 분석이며, 보도된 사실이 아닌 제안이다. 결정 1: 시뮬레이터 렌더링을 쓸 것인가, 동작 직접 예측을 쓸 것인가. 보도는 전제가 다른 두 체크포인트를 제시한다. Sim-Transfer의 입력은 시뮬레이터가 계산한 움직임, 접촉, 물리 상태이며 공간 제어와 텍스트 프롬프트를 거쳐 색상 관측으로 렌더링된다. Sim-Bimanual은 이미지 한 장에서 시작해 동작에 따라 다음 관측을 직접 생성한다. 신뢰할 수 있는 물리 시뮬레이터가 이미 있고 정책 학습에 사진 수준의 사실적 관측이 필요하다면 Sim-Transfer를 선택하고, 비용은 주로 제어 채널 준비에 든다. 병목이 시뮬레이터 부재이고 수집된 양팔 조작 데이터만 있다면 Sim-Bimanual이 더 직접적이며, 전제는 사용하는 몸체가 YAM 또는 AgiBot 범위에 있거나 스키마에 맞춰 동작 재매핑을 할 의향이 있다는 것이다. 측정 가능한 수용 기준은 홀드아웃 에피소드에서 생성 관측과 입력 제어의 기하학적 일관성을 비교하는 것이다. 예를 들어 생성 프레임의 분할 영역과 입력 분할 제어의 겹침 정도, 깊이 순서 관계가 제어와 맞는지 확인한다. 그다음 이렇게 생성된 관측으로 학습한 정책의 홀드아웃 에피소드 성공률이 기준선 대비 어떻게 변하는지 본다. 결정 2: 공개된 Sim-Auto를 바로 쓸 것인가, 자체 주행 데이터로 Transfer-Auto를 사후 학습한 뒤 증류할 것인가. 보도는 경로 의존성을 명시한다. Sim-Auto는 Transfer-Auto를 인과 학습과 소수 단계 증류로 얻은 스트리밍 변형이며, 새로운 센서 구성이나 도메인에서는 공식적으로 Transfer-Auto를 먼저 적응시킨 뒤 Sim-Auto로 증류하라고 권한다. 카메라 배치, LiDAR 구성, 대상 환경이 체크포인트 커버리지와 일치한다면 공개된 Sim-Auto로 스트리밍 추론을 하는 것이 더 짧은 경로다. 불일치하면 비용은 네 단계 사후 학습과 증류의 2단계 엔지니어링이 되며, 내보낸 추론 가중치에는 옵티마이저와 기타 학습 상태가 포함되지 않으므로 재개를 위해 전체 학습 체크포인트를 보존해야 한다. 측정 가능한 수용 기준은 먼저 소규모 홀드아웃 에피소드로 학습과 재시작이 정상 동작하는지 검증하는 것이다. 블로그는 짧은 실행 성공이 실행만 검증할 뿐 수렴을 검증하지 않는다고 언급한다. 다음으로 장시간 롤링 추론의 드리프트를 측정한다. 예를 들어 같은 장면에서 N번째 청크 이후에도 카메라와 LiDAR 동기화가 유지되는지, 제어 변경 후 응답 지연이 안정적인지 확인한다. 결정 3: 폐루프 상호작용을 지금 할 것인가. 보도에 따르면 폐루프 상호작용에는 시뮬레이션 런타임과 WSM 렌더러가 제어를 지속적으로 갱신해야 하며, 이 런타임은 가중치에 포함되지 않는다. 오프라인 합성 데이터만 만든다면 건너뛸 수 있다. 정책이 제어에 어떻게 반응하는지 연구하는 것이 목표라면 런타임과 렌더러를 엔지니어링 예산에 함께 넣고, 단일 프레임 화질만 보지 말고 제어 변경 후 응답 지연을 정량 지표로 삼아야 한다.

제한과 확인할 사항

충실도와 적용 경계에 대해 보도 자체는 기준 수치를 제시하지 않는다. 블로그는 앞으로의 작업이 모델이 정책 학습과 평가를 충실히 지원하는 측면과 한계를 이해하는 것이라고 말한다. 즉 게시자는 아직 가로 비교에 쓸 수 있는 충실도 결과를 공개하지 않았고, 기술 보고서와 데모 페이지는 링크되어 있지만 이번 회차에서 제3자 재현은 확인되지 않았으므로 이 글은 품질에 결론을 내리지 않는다. 기반과 능력 설명은 NVIDIA 자체 블로그에서 나온 게시자 진술이다. 라이선스는 원문만 그대로 전한다. 모델은 OpenMDW1.1을 사용하며 그 조건 아래 상업적 및 비상업적 사용이 허용된다. 가중치를 Hugging Face에서 내려받을 수 있다는 것이 임의 조건으로 사용할 수 있다는 뜻은 아니며, 구체적 권한은 라이선스 조항 자체를 읽어야 한다. 가용성은 분명히 해야 한다. Cosmos 3와 이 네 체크포인트는 KimiSeek의 현재 카탈로그에 해당 항목이 없고, 이 글도 이를 어떤 온라인 서비스로도 등재하지 않았다. 가중치 획득, 호스팅, 실행 방식은 NVIDIA와 Hugging Face의 공개 내용을 기준으로 한다. 하드웨어 하한도 알 수 없다. 블로그는 vLLM-Omni 구성이 GB200 한 대에서 테스트되었다고만 밝히고 최소 VRAM 사양이 아니라고 강조한다. 보도 날짜는 2026년 11월 5일이며, 이후 가중치, 라이선스 조항, 실행 요건이 업데이트되면 게시자 페이지를 기준으로 삼아야 한다.

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

NVIDIA 发布面向交互式世界模拟的 Cosmos 3 新开放模型

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.