Sete universidades abrem o código do OpenWAM: estrutura completa para modelos de ação mundiais e pesos base
Segundo o Machine Heart, equipes de sete universidades, incluindo a Universidade Nacional de Singapura, a Universidade Tsinghua e a Universidade de Pequim, abriram o código do OpenWAM, que inclui a infraestrutura modular OpenWAM-Infra, o estudo experimental controlado OpenWAM-Study e o modelo base OpenWAM-α, abrangendo oito benchmarks de simulação e três tipos de plataformas robóticas reais, além de publicarem pesos pré-treinados e receitas de dados.
O que mudou
Segundo o Machine Heart, uma equipe de pesquisa de sete universidades, incluindo a Universidade Nacional de Singapura, a Universidade Tsinghua e a Universidade de Pequim, abriu o código do OpenWAM, posicionado como uma estrutura de pesquisa completa e modelo base para modelos de ação mundiais (WAM). O projeto tem três camadas: OpenWAM-Infra oferece modelos combináveis (codificador visual, backbone de fluxo de dados, máscara de atenção de visibilidade substituíveis independentemente, com suporte a arquiteturas de sistema único, duplo e triplo), tempo de execução unificado de treinamento (pré-treinamento, ajuste fino, retomada de ponto de verificação, salvando configuração completa e estatísticas de normalização de ações), tempo de execução de implantação (o mesmo servidor de políticas hospeda diferentes modelos, com suporte a inferência síncrona/assíncrona e vários cronogramas de remoção de ruído) e protocolo de avaliação (abrangendo oito benchmarks de simulação: LIBERO, LIBERO-Plus, VLABench, RoboTwin2.0, RoboDojo, RoboCasa365, EBench e RoboCasa-GR1). OpenWAM-Study realiza experimentos controlados com orçamento fixo, relatando comparação de capacidade de backbone (Wan2.1-VACE-1.3B 90,14%, Cosmos-Predict2.5-2B 91,64%, Wan2.2-TI2V-5B 92,39%, Wan2.1-I2V-14B 93,79%), ablação de fluxo de informação (fluxo de ação unidirecional vendo fluxo mundial 92,39%, visão mútua bidirecional 92,15%) e resultados de pré-treinamento corporificado entre domínios (taxa de sucesso OOD de 14,50% do zero, 26,62% com treinamento conjunto). OpenWAM-α usa Wan2.2-VAE como codificador visual congelado, Wan2.2-TI2V-5B como backbone do fluxo de vídeo, ActionDiT com 1B de parâmetros para processar o fluxo de ações, usando um espaço de ação unificado de 80 dimensões, com o conjunto de treinamento real de pré-treinamento de cerca de 518,5 milhões de quadros, aproximadamente 6.369 horas. O artigo afirma que lidera o segundo colocado por cerca de 4 pontos percentuais em SR e Score no EBench, com taxa de sucesso média de 82,5% em seis tarefas de robô real de braço único, e relata resultados após ajuste fino em morfologias de mão dextra não vistas.
Impacto para desenvolvedores
Para desenvolvedores na área de aprendizado robótico, o impacto está principalmente em três pontos, todos inferências baseadas em relatos da fonte e não fatos verificados. Primeiro, a abordagem de espaço de ação unificado mais máscara de validade mapeia ações de juntas/efetuador de diferentes plataformas para slots fixos, de modo que o ajuste fino entre morfologias não exige reescrever a cabeça de ação, reduzindo o custo de integração ao adicionar uma nova plataforma robótica, mas ao custo de primeiro completar a convenção de mapeamento de ações e estados para slots. Segundo, os dados de implantação relatados pela fonte (inferência síncrona, remoção de ruído conjunta de 10 passos, por meio de compilação de forma fixa, CUDA Graph, cache de velocidade, cache de incorporação de prompt, pulando a decodificação VAE do caminho de controle, com um bloco de ação de aproximadamente 170 milissegundos em uma RTX 5090) indicam que sua pilha de inferência é altamente otimizada para forma fixa e cache; se sua resolução de entrada, comprimento do bloco de ação ou tamanho do lote variarem com frequência, os ganhos desse tipo de otimização diminuirão significativamente. Terceiro, a fonte aponta claramente a divisão de trabalho entre WAM e VLA: WAM se ajusta melhor à distribuição de treinamento em tarefas dentro da distribuição, VLA é geralmente mais robusto sob perturbações fora da distribuição; as quedas no LIBERO-Plus se concentram principalmente em perturbações de câmera e ruído, atribuídas à proporção limitada de amostras semelhantes de perturbação de braço único nos dados de pré-treinamento e à maior sensibilidade da predição de longo prazo no espaço latente de pixels ao ruído de ponto de vista. Isso significa que usar WAM diretamente em campo com layout de sensores variável ou tremores de alta frequência exige primeiro reforço de dados direcionado, em vez de esperar generalização pronta para uso.
Integração e avaliação
O que segue são recomendações e análises condicionais, não fatos declarados pela fonte. Recomendação um: substituir ou não o backbone de vídeo depende do seu orçamento de computação e da tolerância à diferença na taxa de sucesso. A fonte relata que o backbone de 14B é 1,40 ponto percentual superior ao de 5B, e o de 5B foi escolhido como padrão; portanto, se você está em uma fase de máquina única com múltiplas GPUs e precisa retreinar com frequência, use primeiro o 5B como linha de base e defina o critério de avaliação como taxa de sucesso média não inferior à sua solução atual na mesma configuração do RoboTwin2.0 e orçamento fixo, registrando simultaneamente a latência de um único treinamento e de um bloco de ação de inferência. Se sua tarefa é operação de longa duração de alta precisão e você já tem computação estável, verifique então se o 14B traz ganhos acima do nível de ruído. Recomendação dois: adotar ou não o fluxo de informação com visão mútua bidirecional depende de você ter feito pré-treinamento corporificado entre domínios. A fonte relata que, partindo do zero, o fluxo unidirecional do mundo para a ação tem ligeira vantagem, enquanto após o pré-treinamento a visão mútua bidirecional é mais estável dentro e fora do domínio; portanto, se você ajusta diretamente os pesos pré-treinados oficiais, deve priorizar a reprodução da configuração de visão mútua bidirecional; se treina do zero um modelo pequeno com poucos dados, deve primeiro comparar com a configuração unidirecional. O critério de avaliação sugerido é a taxa de sucesso em configurações de randomização do tipo Clean2Random, exigindo que as métricas dentro do domínio não apresentem queda evidente em relação à linha de base. Recomendação três: investir ou não em dados em primeira pessoa humana depende de seu gargalo ser precisão dentro do domínio ou generalização fora da distribuição. A fonte relata que o pré-treinamento melhora pouco dentro do domínio e significativamente fora da distribuição, e que o treinamento conjunto de estágio único é ligeiramente melhor que o em estágios. Portanto, se seu campo se caracteriza principalmente por nova iluminação, novo fundo, nova pose de câmera, priorize expandir dados mistos de primeira pessoa humana e robô e fazer treinamento de estágio único; se seu problema é alta taxa de falha em pegas básicas, priorize a qualidade da anotação de ações nas trajetórias do robô. Recomendação quatro: antes de integrar o espaço de ação, use uma reprodução em pequena escala para verificar se as dimensões não utilizadas no mapeamento de 80 dimensões estão corretamente mascaradas pela máscara de validade, e depois avalie a taxa de sucesso da tarefa após o ajuste fino, evitando que dimensões inválidas contaminem o sinal de treinamento.
Limites e pontos a confirmar
A versão OpenWAM-α atualmente não aparece no catálogo de modelos em tempo real do KimiSeek, e desenvolvedores não podem chamá-la diretamente neste site; os modelos e lançamentos de dados mencionados na fonte apontam para páginas de projetos como o Hugging Face, sem relação com a disponibilidade neste site. Todos os números de desempenho da fonte (incluindo taxas de sucesso média de cada backbone, margem de liderança no EBench, taxa de sucesso em robô real) vêm de auto-relato dos autores do artigo, não foram reproduzidos de forma independente neste texto, nem recomparados com esses métodos sob condições unificadas; diferentes backbones não são completamente idênticos em estrutura, dados e objetivos, e a própria fonte alerta que não se pode atribuir os ganhos simplesmente ao número de parâmetros. Os resultados em robô real vêm da plataforma experimental da equipe de pesquisa, e o conjunto de tarefas, protocolo de avaliação e configuração de hardware diferem bastante do campo de produção, não podendo ser extrapolados diretamente. Expressões como 'primeira linha' relatadas pela fonte carecem de classificação completa por benchmark; os leitores devem se basear nos dados do painel do artigo. Se o projeto adota uma licença de código aberto e se os pesos permitem uso comercial não foram esclarecidos pela fonte; pesos baixáveis não equivalem a obter licença de código aberto, sendo necessário consultar os termos reais do repositório e do cartão do modelo. A reprodutibilidade depende de os pesos pré-treinados, receitas de dados e protocolo de avaliação poderem ser obtidos integralmente; a fonte afirma que foram publicados, mas a completude real e a estratégia de manutenção futura ainda são desconhecidas; as licenças de distribuição das fontes de dados também podem limitar seu uso para retreinamento.