← Todas as notícias

DexRoam treina robôs com demonstrações humanas em primeira pessoa: relato aponta sucesso médio de 29% a 56% e metade das demonstrações robóticas

Segundo o Machine Heart em 5 de novembro de 2026, a Universidade de Ciência e Tecnologia de Hong Kong, o Instituto de Inteligência Artificial de Pequim (BAAI), a Universidade de Pequim e outras instituições propuseram o DexRoam, que treina manipulação hábil móvel com dois braços a partir de demonstrações humanas de corpo inteiro em primeira pessoa: após alinhamento em três etapas, o esquema «pré-treinamento com dados humanos + ajuste fino conjunto humano-robô» eleva a taxa de sucesso média do GR00T N1.7 de 29% para 56% e a do π₀.₅ de 32% para 57%; com metade das demonstrações robóticas o desempenho ainda fica próximo da linha de base completa, e o código de coleta, alinhamento e treinamento de política foi aberto.

Publicado Atualizado

O que mudou

Segundo o Machine Heart em 5 de novembro de 2026, uma equipe conjunta da Universidade de Ciência e Tecnologia de Hong Kong, do Instituto de Inteligência Artificial de Pequim (BAAI), da Universidade de Pequim e outras instituições propôs o DexRoam, um sistema que cobre coleta de demonstrações humanas em primeira pessoa, alinhamento de movimentos de corpo inteiro, aprendizado de política robótica e execução em robô real; a reportagem afirma que o trabalho foi aceito na CoRL 2026. No lado da coleta, a reportagem diz que o sistema dispensa equipamentos externos de captura de movimento: o demonstrador usa um headset Meta Quest 3 e uma câmera estéreo ZED Mini montada na cabeça para registrar de forma sincronizada vídeo em primeira pessoa, movimentos articulares de todo o corpo e pontos-chave das mãos, com a imagem da câmera exibida em tempo real no headset para manter consistência com a observação visual usada no treinamento da política; a equipe também construiu um sistema de teleoperação de corpo inteiro para uma pessoa, controlando de forma sincronizada a base, o tronco, os dois braços, a cabeça e a mão hábil do robô com headset VR, controles e luva de dados. O alinhamento tem três etapas: alinhamento de corpo com o sistema de coordenadas baseado na pelve humana e retargeting das mãos; alinhamento semântico do movimento, reescrevendo os movimentos da base, do tronco e dos braços como representações de ação relativa; e alinhamento temporal, reamostrando trajetórias humanas conforme o progresso da tarefa e casando com a escala de tempo do robô. A reportagem afirma que, após o alinhamento, os indicadores MMD e SWD entre as distribuições de movimento humano e robótico caem em média 41,7% e 31,1%, respectivamente, e que as trajetórias humanas convertidas podem ser reproduzidas com sucesso no robô real. No lado da política, a equipe comparou três modos de treinamento com dois modelos VLA, GR00T N1.7 e π₀.₅: treinamento conjunto humano-robô, pré-treinamento com dados humanos seguido de ajuste fino com dados robóticos, e pré-treinamento com dados humanos seguido de ajuste fino conjunto humano-robô. A reportagem afirma que os três modos trouxeram ganhos em cinco tarefas, sendo o terceiro o melhor, com a taxa de sucesso média do GR00T N1.7 subindo de 29% para 56% e a do π₀.₅ de 32% para 57%. A equipe também afirma que, mantendo o número de demonstrações humanas e reduzindo pela metade as demonstrações robóticas, o desempenho das tarefas fica próximo da linha de base com dados robóticos completos, descrevendo esse potencial como substituição de cerca de 50% dos dados de teleoperação; segundo a reportagem, um comportamento observado apenas nas demonstrações humanas é pegar um pote de batatas chips pela lateral conforme a orientação do objeto, enquanto a política treinada apenas com dados robóticos tende a pegar pela frente. A reportagem afirma que o código de coleta e alinhamento e o código de treinamento de política foram abertos, com links para o artigo e o projeto.

Impacto para desenvolvedores

Para desenvolvedores que fazem ajuste fino de modelos incorporados e pipelines de dados, o ponto desta notícia não é um novo modelo, mas a possibilidade de mudança na estrutura da fonte de dados de treinamento. A alegação central da reportagem é que demonstrações humanas de corpo inteiro, após alinhamento em três etapas, podem compartilhar a mesma interface observação-ação das demonstrações robóticas no treinamento de políticas VLA, sem exigir mudanças na arquitetura do modelo para os dados humanos; assim, em cenários de manipulação hábil móvel com dois braços em que a coleta por teleoperação é cara e chega a exigir vários operadores, a demonstração humana em primeira pessoa é vista como fonte de dados complementar escalável, capaz de substituir parte dos caros dados de teleoperação robótica. É preciso distinguir camadas: os dados humanos vêm de um conjunto portátil próprio, os dados robóticos de um sistema de teleoperação construído pela equipe, e GR00T N1.7 e π₀.₅ são modelos VLA de terceiros já existentes; o DexRoam entrega método e código, não um serviço gerenciado pronto para uso nem um novo conjunto de pesos. Por isso o efeito sobre a forma de acesso é indireto: se o seu fluxo de pós-treinamento ou avaliação carece de demonstrações de coordenação de corpo inteiro, ele oferece um caminho alternativo nas etapas de coleta e alinhamento; se você apenas chama algum VLA por API para inferência, as conclusões da reportagem não mudam seus parâmetros de requisição, comportamento de concorrência ou estrutura de cobrança. O que realmente merece reavaliação é a alocação do orçamento de dados: quando a demonstração humana cobre a semântica da tarefa e, após o alinhamento, as ações são executáveis no seu corpo robótico, deslocar parte do orçamento de coleta da teleoperação para a demonstração humana é uma opção razoável; por outro lado, se a tarefa depende de forças de contato ou montagem de precisão difíceis de reproduzir em demonstrações humanas, essa relação de substituição não tem base.

Integração e avaliação

As três sugestões abaixo são condicionais, baseadas na reportagem acima; não são conclusões do artigo nem foram verificadas de forma independente. Trate-as como hipóteses a testar, não como conclusões. Primeiro, coloque uma barreira de reprodução na etapa de alinhamento antes de decidir se dados humanos entram no treinamento. A mudança relatada correspondente é que o alinhamento em três etapas reduz MMD e SWD em média 41,7% e 31,1%, e que as trajetórias humanas convertidas podem ser reproduzidas no robô real. A decisão é se vale introduzir demonstrações humanas como fonte de dados a montante no seu próprio corpo robótico, em vez de mexer primeiro na receita de treinamento. O pré-requisito é ter acesso ao mapeamento de articulações do corpo-alvo e às regras de retargeting das mãos, além de conseguir gravar dados de corpo inteiro em primeira pessoa. Critério mensurável: comparar no seu conjunto de tarefas o MMD/SWD das distribuições de movimento humano e robótico antes e depois do alinhamento, e medir a taxa de reprodução bem-sucedida das trajetórias humanas no robô real (por exemplo, amostrar 20 trajetórias fixas; se a proporção de sucesso ficar abaixo da maioria, o mapeamento não convergiu), e não avançar para o treinamento de política se a reprodução não atingir o critério. Segundo, teste primeiro a receita «pré-treinamento com dados humanos + ajuste fino conjunto humano-robô», mas confirme com comparação controlada em vez de apenas assistir a vídeos de demonstração. A mudança relatada correspondente é que essa combinação foi a melhor entre os três modos, com a taxa de sucesso média dos dois modelos subindo de 29% para 56% e de 32% para 57%. A decisão é qual das três receitas rodar primeiro. A condição é o volume de demonstrações robóticas: quando os dados robóticos são escassos, priorize essa combinação; se os dados robóticos já são suficientes e a tarefa-alvo difere bastante dos movimentos humanos demonstrados, o treinamento conjunto direto pode ser um ponto de partida mais simples. Critério mensurável: fixar o número de demonstrações robóticas (por exemplo, comparar de forma transversal com o mesmo número), comparar nas mesmas tarefas de avaliação a taxa de sucesso média e a conclusão das tarefas dos três modos, registrando a variância em vez do melhor resultado isolado. Terceiro, use a curva de dados reduzidos pela metade para decidir se o próximo orçamento de coleta vai para demonstração humana ou teleoperação. A mudança relatada correspondente é que, com metade das demonstrações robóticas, o desempenho das tarefas ainda fica próximo da linha de base completa. A decisão é para qual lado direcionar o orçamento. O pré-requisito é que a tarefa-alvo possa ser coberta por demonstrações humanas; se envolver controle de força de alta precisão ou operações impróprias para demonstração humana, esse pré-requisito não se aplica. Critério mensurável: reduzir gradualmente as demonstrações robóticas para 100%, 50% e 25%, traçando a curva de taxa de sucesso; só migre o orçamento para coleta humana se a faixa de 50% ainda ficar dentro do intervalo de desempenho aceitável para você, caso contrário, mantenha o investimento em teleoperação.

Limites e pontos a confirmar

As taxas de sucesso, as quedas de MMD/SWD e a conclusão de redução pela metade dos dados robóticos vêm de experimentos da própria equipe em cinco tarefas, sem reprodução independente; a composição específica das cinco tarefas, o modelo da plataforma robótica usada e o protocolo completo de avaliação não são detalhados na reportagem, e a transferência entre corpos robóticos exige nova validação. A qualidade do alinhamento manual depende da calibração dos equipamentos de coleta e dos hábitos do demonstrador, e a reportagem não traz dados de estabilidade entre diferentes demonstradores. O escopo do código aberto precisa ser esclarecido: a reportagem diz apenas que o código de coleta e alinhamento e o código de treinamento de política foram abertos, sem explicar os termos de licença específicos nem listar o hardware robótico e configurações compráveis; código aberto não equivale a pesos de modelo abertos. GR00T N1.7 e π₀.₅ são modelos VLA de terceiros já existentes, e se seus pesos são abertos e sob quais condições são usados é decisão de cada publicador, não algo que se possa inferir desta reportagem. Nota de disponibilidade: na verificação do catálogo até 12 de novembro de 2026, o DexRoam não tem entrada correspondente no catálogo do KimiSeek, e GR00T N1.7 e π₀.₅ também não têm entradas com correspondência exata; a reportagem também não menciona nenhuma API hospedada por fabricante, e a forma de obtenção segue o repositório público e o artigo da equipe. Se surgirem interfaces ou serviços gerenciados de fabricantes relacionados, seu escopo de disponibilidade e preço devem seguir as explicações desse fabricante, não este catálogo.

Três minutos até a primeira chamada

Crie uma conta e uma chave de API. O custo das chamadas é descontado do seu saldo. 30% de desconto na primeira recarga. Recarregue ¥500, pague ¥350, receba ¥500 de saldo. Recarregue ¥1000, pague ¥850, receba ¥1000 de saldo A recarga mínima continua sendo ¥10, adequada para testes.

Fontes e processo editorial

CoRL 2026|移动双臂灵巧操作,也能从人类示范中学?

A IA auxiliou a análise e a tradução das fontes citadas, seguidas de verificações automáticas. Recomendações não são resultados de testes. Consulte o catálogo atual para preços e disponibilidade.