NVIDIA Cosmos 3 ganha quatro checkpoints de pesos abertos: multisensores para direção e simulação bimanual, com pré-requisitos de implantação a esclarecer
Segundo o blog da NVIDIA de 5 de novembro de 2026, a família Cosmos 3 ganhou quatro checkpoints de pesos abertos ajustados a partir do Cosmos 3 Nano, cada um com 16B de parâmetros treináveis, cobrindo geração multisensorial para direção, simulação em fluxo, renderização em simulador e predição de ações bimanuais, sob a licença OpenMDW1.1.

O que mudou
A NVIDIA anunciou em seu blog de 5 de novembro de 2026 quatro checkpoints de pesos abertos da família Cosmos 3, com pesos hospedados na coleção Cosmos3 do Hugging Face, acompanhados de relatório técnico e página de demonstração. Os quatro modelos são descritos como exemplos de pós-treinamento do Cosmos 3 Nano, cada um com 16B de parâmetros treináveis, sob licença OpenMDW1.1. A divisão de tarefas é: Cosmos3-Nano-Transfer-Auto é um modelo offline bidirecional que gera vídeos sincronizados de até 11 pontos de vista de câmera (incluindo olho de peixe) e suporta geração conjunta de RGB e LiDAR, com um world scene map (WSM) por câmera controlando a estrutura da cena e o movimento do tráfego, e prompts de texto guiando a aparência; Cosmos3-Nano-Sim-Auto é a variante em fluxo do Transfer-Auto após destilação causal, produzindo continuamente blocos sincronizados de câmera e LiDAR com poucos passos de desruído, e a interação em malha fechada exige um runtime de simulação e um renderizador de WSM; Cosmos3-Nano-Sim-Transfer renderiza em RGB consumível por políticas o controle espacial do simulador físico (profundidade, segmentação, bordas, desfoque) junto com prompts de texto, mantendo a física e o estado de verdade no simulador; Cosmos3-Nano-Sim-Bimanual prediz diretamente a próxima observação a partir da cena e das ações do robô, com suporte aos corpos bimanuais YAM e AgiBot. A receita de pós-treinamento tem quatro estágios: adaptação bidirecional, teacher forcing, destilação de consistência e self-forcing; o self-forcing expõe o treino ao histórico gerado pelo próprio modelo aluno, para mitigar acúmulo de erro. Os requisitos de execução informados pelo publicador são Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit, e a configuração vLLM-Omni publicada foi testada em uma GB200, o que não é a especificação mínima de memória de vídeo.
Impacto para desenvolvedores
A primeira implicação desta publicação para desenvolvedores é a forma de integração: não é uma interface que se chama apenas trocando o nome do modelo, mas uma pilha de inferência própria que exige Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit. O blog afirma que a configuração vLLM-Omni publicada foi testada em uma GB200 e deixa claro que isso não é a especificação mínima de memória de vídeo; o limite inferior de memória, se roda em uma única placa e o tempo de geração por bloco não são dados no texto do blog, então o orçamento de implantação só pode ser medido pelo próprio desenvolvedor. Os dois caminhos de renderização têm pré-requisitos diferentes, e o trade-off é concreto. O Sim-Transfer deixa movimento, contato e estado físico com o simulador, e o modelo apenas renderiza em RGB controles espaciais como profundidade, segmentação, bordas ou desfoque somados a prompts de texto; a vantagem é que a física e o estado de verdade permanecem no lado do simulador, o custo é que você precisa já ter um simulador utilizável e esses canais de controle. O Sim-Bimanual prediz a próxima observação diretamente a partir da cena e das ações do robô, dispensando o simulador, mas é preciso alinhar ao seu contrato de dados: T transições exigem T+1 observações, o exemplo de ação mista usa 59 valores de controle preenchidos para 64 durante o treino, e sistema de coordenadas, rotação, calibração da garra e máscaras de validade têm restrições de schema; as ações de inferência publicadas já vêm normalizadas. O texto original apenas lista essas convenções e não descreve como a saída se deforma ou se ocorre erro quando não são seguidas, portanto a validação de formato deve ser tratada como etapa obrigatória de teste próprio. A geração em fluxo define o critério de avaliação. O modelo opera em latentes comprimidos, e após a imagem inicial cada passo temporal de latente representa quatro quadros RGB; o Transfer prediz um passo por bloco, e o relatório descreve a configuração otimizada do Bimanual predizendo dois passos; quanto menor o bloco, maior a frequência com que novos controles afetam a geração. O blog explica especificamente o papel do self-forcing na receita de quatro estágios: objetos ligeiramente mal preditos passam a ser contexto dos quadros seguintes, o erro pode se acumular, então quadros de curto prazo normais não significam que a inferência de longo prazo é utilizável. A base é Mixture-of-Transformers, que conecta por atenção uma rede separada de processamento de texto e uma rede de geração visual, com cache de chave-valor retendo informações de atenção para a próxima predição; essas estruturas determinam que síntese offline e inferência em fluxo são duas formas de engenharia distintas, e as expectativas de throughput não podem ser compartilhadas.
Integração e avaliação
A seguir, análise condicional baseada na reportagem, que é sugestão e não fato reportado. Decisão um: renderizar com simulador ou predizer diretamente a partir de ações. A reportagem apresenta dois checkpoints com pré-requisitos distintos — a entrada do Sim-Transfer é o movimento, contato e estado físico calculados pelo simulador, renderizados em observações de cor via controle espacial e prompts de texto; o Sim-Bimanual parte de uma imagem e gera a próxima observação diretamente conforme as ações. Se você já tem um simulador físico confiável e o treino da política exige observações fotorrealistas, escolha o Sim-Transfer, com custo concentrado na preparação dos canais de controle; se o gargalo é não ter simulador e só ter dados coletados de operação bimanual, o Sim-Bimanual é mais direto, desde que seu corpo esteja coberto por YAM ou AgiBot, ou que você aceite fazer retargeting de ações conforme o schema. Critérios de aceitação mensuráveis: comparar em episódios do conjunto de validação a consistência geométrica entre observações geradas e controles de entrada, por exemplo a sobreposição da região segmentada dos quadros gerados com o controle de segmentação de entrada e se a ordem de profundidade segue o controle; depois, a variação da taxa de sucesso em episódios de validação de uma política treinada nessas observações geradas em relação à linha de base. Decisão dois: usar diretamente o Sim-Auto publicado ou primeiro pós-treinar o Transfer-Auto nos seus próprios dados de direção e depois destilar. A reportagem explicita a dependência de caminho: o Sim-Auto é a variante em fluxo do Transfer-Auto obtida por treino causal e destilação de poucos passos, e para novas configurações de sensores ou domínios a recomendação oficial é adaptar primeiro o Transfer-Auto e depois destilar para o Sim-Auto. Se seu layout de câmeras, configuração de LiDAR e ambiente-alvo coincidem com a cobertura do checkpoint, usar diretamente o Sim-Auto publicado para inferência em fluxo é o caminho mais curto; se não coincidem, o custo passa a ser uma engenharia em duas etapas de pós-treinamento de quatro estágios mais destilação, e é preciso guardar o checkpoint completo de treino para poder retomar, pois os pesos de inferência exportados não incluem otimizador nem outros estados de treino. Critérios de aceitação mensuráveis: primeiro validar com episódios de um pequeno conjunto de validação se treino e reinício funcionam, lembrando que o blog indica que uma execução curta bem-sucedida só valida a execução, não a convergência; depois medir a deriva em rollouts longos, por exemplo se a sincronia entre câmera e LiDAR de uma mesma cena continua válida após o N-ésimo bloco e se a latência de resposta após mudanças de controle permanece estável. Decisão três: fazer interação em malha fechada agora ou não. A reportagem afirma que a interação em malha fechada exige um runtime de simulação e um renderizador de WSM atualizando continuamente os controles, e esse runtime não está nos pesos. Se você só faz síntese offline de dados, pode pular; se o objetivo é estudar como a política responde ao controle, inclua runtime e renderizador no orçamento de engenharia e use a latência de resposta após mudanças de controle como métrica quantitativa, em vez de olhar apenas a qualidade de quadros isolados.
Limites e pontos a confirmar
Fidelidade e limites de aplicação: a própria reportagem não traz números de benchmark. O blog diz que o próximo trabalho é medir em que aspectos o modelo sustenta fielmente o aprendizado e a avaliação de políticas e entender suas limitações, ou seja, o publicador ainda não divulgou resultados de fidelidade comparáveis transversalmente; o relatório técnico e a página de demonstração estão linkados, mas nesta rodada não se viu reprodução por terceiros, e este artigo não conclui sobre a qualidade. A base e a descrição de capacidades vêm do blog da própria NVIDIA, portanto são declarações do publicador. Sobre licença, apenas se repete o texto original: os modelos usam OpenMDW1.1 e permitem uso comercial e não comercial sob seus termos. Poder baixar os pesos no Hugging Face não significa poder usá-los sob quaisquer condições; as permissões específicas exigem ler os próprios termos da licença. A disponibilidade precisa ser explícita: o Cosmos 3 e esses quatro checkpoints não têm entrada correspondente no catálogo atual da KimiSeek, e este artigo não os lista como nenhum serviço online; a obtenção, hospedagem e execução dos pesos seguem as publicações da NVIDIA e do Hugging Face. O limite mínimo de hardware também é desconhecido, e o blog apenas informa que a configuração vLLM-Omni foi testada em uma GB200, enfatizando que isso não é a especificação mínima de memória de vídeo. A data da reportagem é 5 de novembro de 2026; se pesos, termos de licença ou requisitos de execução forem atualizados depois, valem as páginas do publicador.