← Toutes les actualités

DexRoam entraîne des robots avec des démonstrations humaines à la première personne : 29 % à 56 % de réussite moyenne, moitié moins de démonstrations robotiques

Selon un article de Machine Heart du 5 novembre 2026, l'Université des sciences et technologies de Hong Kong, l'Institut de recherche en intelligence artificielle de Pékin (BAAI), l'Université de Pékin et d'autres institutions proposent DexRoam, qui entraîne la manipulation mobile bimanuelle et dextre à partir de démonstrations humaines à la première personne : après un alignement en trois étapes, le pré-entraînement humain suivi d'un ajustement conjoint humain-robot fait passer le taux de réussite moyen de GR00T N1.7 de 29 % à 56 % et celui de π₀.₅ de 32 % à 57 % ; avec moitié moins de démonstrations robotiques, les performances restent proches de la référence complète. Le code de collecte, d'alignement et d'entraînement des politiques est publié en open source.

Publication Mise à jour

Ce qui change

Selon un article de Machine Heart du 5 novembre 2026, une équipe conjointe de l'Université des sciences et technologies de Hong Kong, de l'Institut de recherche en intelligence artificielle de Pékin (BAAI), de l'Université de Pékin et d'autres institutions propose DexRoam, un système couvrant la collecte de démonstrations humaines à la première personne, l'alignement des mouvements du corps entier, l'apprentissage de politiques robotiques et l'exécution sur robot réel ; l'article indique que ce travail a été accepté à CoRL 2026. Côté collecte, le système ne nécessiterait aucun équipement de capture de mouvement externe : le démonstrateur porte un casque Meta Quest 3 et une caméra stéréo ZED Mini montée sur la tête, ce qui permet d'enregistrer simultanément la vidéo à la première personne, les mouvements articulaires du corps entier et les points clés de la main ; l'image de la caméra est renvoyée en temps réel dans le casque afin de rester cohérente avec l'observation visuelle utilisée pour l'entraînement des politiques. L'équipe a par ailleurs construit un système de téléopération du corps entier pour une seule personne, contrôlant en synchronisation le châssis, le torse, les deux bras, la tête et la main dextre du robot à l'aide d'un casque VR, de contrôleurs et de gants de données. L'alignement se fait en trois étapes : un alignement corporel qui établit un repère centré sur le bassin humain et effectue une redirection de la main ; un alignement sémantique du mouvement qui reformule les mouvements du châssis, du torse et des bras en représentations d'actions relatives ; un alignement temporel qui rééchantillonne les trajectoires humaines selon la progression de la tâche et les met à l'échelle temporelle du robot. L'article indique qu'après alignement, les indicateurs MMD et SWD des distributions de mouvements humains et robotiques baissent en moyenne de 41,7 % et 31,1 % respectivement, et que les trajectoires humaines converties peuvent être rejouées avec succès sur le robot réel. Côté politiques, l'équipe compare, avec les deux modèles VLA GR00T N1.7 et π₀.₅, trois modes d'entraînement : entraînement conjoint humain-robot, pré-entraînement humain suivi d'un ajustement avec des données robotiques, et pré-entraînement humain suivi d'un ajustement conjoint humain-robot. L'article indique que sur cinq tâches, les trois modes apportent des gains, le troisième étant le meilleur : le taux de réussite moyen de GR00T N1.7 passe de 29 % à 56 % et celui de π₀.₅ de 32 % à 57 %. L'équipe affirme aussi qu'à nombre de démonstrations humaines constant et avec moitié moins de démonstrations robotiques, les performances restent proches de la référence utilisant l'intégralité des données robotiques, et présente ce potentiel comme un remplacement d'environ 50 % des données de téléopération ; un comportement observé uniquement dans les démonstrations humaines consiste à saisir une boîte de chips par le côté selon son orientation, alors qu'une politique entraînée uniquement sur des données robotiques privilégie une saisie frontale. L'article indique que le code de collecte et d'alignement ainsi que le code d'entraînement des politiques sont publiés en open source, et fournit les adresses de l'article et du projet.

Conséquences pour les développeurs

Pour les développeurs qui ajustent des modèles incarnés et construisent des pipelines de données, l'intérêt de cette annonce ne réside pas dans un nouveau modèle, mais dans la possibilité d'un changement de structure de la source des données d'entraînement. L'affirmation centrale est que des démonstrations humaines du corps entier, après un alignement en trois étapes, peuvent partager la même interface observation-action que les démonstrations robotiques pour entraîner des politiques VLA, sans modification supplémentaire de l'architecture du modèle pour les données humaines ; ainsi, dans les scénarios de manipulation mobile bimanuelle où la collecte de démonstrations par téléopération est coûteuse, voire nécessite plusieurs opérateurs, les démonstrations humaines à la première personne sont considérées comme une source de données complémentaire extensible, susceptible de remplacer une partie des coûteuses données de téléopération robotique. Il faut distinguer les niveaux : les données humaines proviennent d'une combinaison d'appareils portables auto-collectés, les données robotiques d'un système de téléopération maison, et GR00T N1.7 comme π₀.₅ sont des modèles VLA tiers existants ; DexRoam livre une méthode et du code, non un service hébergé directement appelable ni de nouveaux poids. L'effet sur les modalités d'accès est donc indirect : si votre processus de post-entraînement ou d'évaluation manque de démonstrations de coordination du corps entier, il offre une voie alternative pour la collecte et l'alignement ; si vous appelez simplement un VLA via une API pour l'inférence, les conclusions de l'article ne modifient ni vos paramètres de requête, ni le comportement de concurrence, ni la structure de facturation. Ce qu'il faut réellement réévaluer, c'est la répartition du budget de données : lorsque les démonstrations humaines couvrent la sémantique de la tâche et que les actions alignées sont exécutables sur votre plateforme, réorienter une partie du budget de collecte de la téléopération vers les démonstrations humaines est une option raisonnable ; à l'inverse, si la tâche dépend de forces de contact ou d'assemblages de précision difficiles à reproduire à partir de démonstrations humaines, cette substitution n'est pas fondée.

Intégration et évaluation

Les trois points suivants sont des recommandations conditionnelles et des inférences fondées sur l'article ci-dessus ; ce ne sont pas les conclusions de l'article et ils n'ont pas été vérifiés indépendamment. À traiter comme des hypothèses à valider, non comme des conclusions. Premièrement, imposez d'abord un seuil de rejeu à l'étape d'alignement avant de décider d'intégrer des données humaines à l'entraînement. Le changement rapporté correspondant est que l'alignement en trois étapes réduit en moyenne MMD et SWD de 41,7 % et 31,1 %, et que les trajectoires humaines converties peuvent être rejouées sur le robot réel. Le choix à faire est d'introduire ou non des démonstrations humaines comme source de données amont sur votre propre plateforme, plutôt que de régler d'abord la recette d'entraînement. La condition préalable est de disposer du mapping articulaire de la plateforme cible et des règles de redirection de la main, et de pouvoir enregistrer des données du corps entier à la première personne. Critère mesurable : comparer sur votre jeu de tâches les MMD/SWD des distributions de mouvements humains et robotiques avant et après alignement, et mesurer le taux de rejeu réussi des trajectoires humaines sur robot réel (par exemple, prélever un échantillon fixe de 20 trajectoires ; si la proportion de rejeux réussis est inférieure à la majorité, cela indique que le mapping n'a pas convergé) ; si le rejeu n'est pas satisfaisant, ne pas passer à l'entraînement des politiques. Deuxièmement, essayez d'abord la recette « pré-entraînement humain + ajustement conjoint humain-robot », mais validez-la par une comparaison contrôlée plutôt qu'en vous fiant à une vidéo de démonstration. Le changement rapporté correspondant est que, parmi les trois modes d'entraînement, cette combinaison est la meilleure : le taux de réussite moyen des deux modèles passe respectivement de 29 % à 56 % et de 32 % à 57 %. Le choix à faire est lequel des trois lancer en premier. La condition tient au volume de vos démonstrations robotiques : privilégiez cette combinaison lorsque les données robotiques sont rares ; si les données robotiques sont suffisantes et que la tâche cible diffère fortement des mouvements des démonstrations humaines, l'entraînement conjoint direct peut être un point de départ plus simple. Critère mesurable : fixer le nombre de démonstrations robotiques (par exemple comparer à nombre égal), comparer sur les mêmes tâches d'évaluation le taux de réussite moyen et le taux d'achèvement des trois recettes, et consigner la variance plutôt que le meilleur résultat ponctuel. Troisièmement, utilisez une courbe de réduction des données pour décider si le prochain budget de collecte va aux démonstrations humaines ou à la téléopération. Le changement rapporté correspondant est qu'avec moitié moins de démonstrations robotiques, les performances restent proches de la référence complète. Le choix à faire est l'affectation du budget. La condition préalable est que la tâche cible puisse être couverte par des démonstrations humaines ; elle ne tient pas s'il s'agit de contrôle de force de haute précision ou d'opérations que des humains ne devraient pas démontrer. Critère mesurable : réduire progressivement les démonstrations robotiques à 100 %, 50 %, 25 % et tracer la courbe de réussite ; ne réorienter le budget vers la collecte humaine que si le palier à 50 % reste dans votre intervalle de performance acceptable, sinon conserver l'investissement en téléopération.

Limites et points à confirmer

Les taux de réussite, les baisses de MMD/SWD et la conclusion sur la réduction de moitié des données robotiques proviennent toutes des expériences de l'équipe sur ses propres cinq tâches, sans reproduction indépendante ; la composition précise des cinq tâches, le modèle de plateforme robotique utilisé et le protocole d'évaluation complet ne sont pas détaillés dans l'article, et un transfert vers une autre plateforme nécessite une nouvelle validation. La qualité de l'alignement manuel dépend de la calibration des appareils de collecte et des habitudes des démonstrateurs ; l'article ne fournit pas de données de stabilité entre démonstrateurs. Il faut distinguer le périmètre de l'open source : l'article indique seulement que le code de collecte et d'alignement ainsi que le code d'entraînement des politiques sont publiés en open source, sans préciser les conditions de licence, ni la liste du matériel robotique ni une configuration achetable ; un code open source n'équivaut pas à des poids de modèle ouverts. GR00T N1.7 et π₀.₅ sont des modèles VLA tiers existants ; l'ouverture de leurs poids et leurs conditions d'utilisation relèvent de leurs éditeurs respectifs et ne peuvent être déduites de cet article. Précision sur la disponibilité : lors de la vérification du catalogue au 12 novembre 2026, DexRoam n'a pas d'entrée correspondante dans le catalogue KimiSeek, et GR00T N1.7 comme π₀.₅ n'ont pas non plus d'entrée correspondant exactement ; l'article ne mentionne aucune API hébergée par un fournisseur, et l'accès se fait via le dépôt public de l'équipe et l'article. Si des interfaces ou services hébergés de fournisseurs apparaissent ultérieurement, leur périmètre de disponibilité et leurs prix devront être vérifiés auprès de l'éditeur concerné, et non dans ce catalogue.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

CoRL 2026|移动双臂灵巧操作,也能从人类示范中学?

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.