Sept universités ouvrent le code d'OpenWAM : cadre complet et poids de base pour modèles d'action du monde
Selon Machine Heart, des équipes de sept universités dont l'Université nationale de Singapour, l'Université Tsinghua et l'Université de Pékin ont ouvert le code d'OpenWAM, comprenant l'infrastructure modulaire OpenWAM-Infra, l'étude expérimentale contrôlée OpenWAM-Study et le modèle de base OpenWAM-α, couvrant huit benchmarks de simulation et trois types de plateformes robotiques réelles, avec la publication de poids pré-entraînés et de recettes de données.
Ce qui change
Selon Machine Heart, une équipe de recherche de sept universités dont l'Université nationale de Singapour, l'Université Tsinghua et l'Université de Pékin a ouvert le code d'OpenWAM, un cadre de recherche complet et un modèle de base destinés aux modèles d'action du monde (WAM). Le projet comporte trois niveaux : OpenWAM-Infra fournit des modèles composables (encodeurs visuels, backbones de flux de données, masques d'attention de visibilité interchangeables indépendamment, prenant en charge les architectures mono-système, double-système et triple-système), un environnement d'exécution d'entraînement unifié (pré-entraînement, affinage, reprise après interruption, les points de contrôle stockant la configuration complète et les statistiques de normalisation des actions), un environnement d'exécution de déploiement (un même serveur de politique hébergeant différents modèles, avec inférence synchrone/asynchrone et divers calendriers de débruitage) ainsi qu'un protocole d'évaluation (couvrant huit benchmarks de simulation : LIBERO, LIBERO-Plus, VLABench, RoboTwin2.0, RoboDojo, RoboCasa365, EBench, RoboCasa-GR1). OpenWAM-Study réalise des expériences contrôlées à budget fixe et rapporte une comparaison de capacité des backbones (Wan2.1-VACE-1.3B 90,14 %, Cosmos-Predict2.5-2B 91,64 %, Wan2.2-TI2V-5B 92,39 %, Wan2.1-I2V-14B 93,79 %), une ablation du flux d'information (flux d'action regardant unidirectionnellement le flux du monde 92,39 %, vision bidirectionnelle mutuelle 92,15 %) et des résultats de pré-entraînement incarné inter-domaines (taux de réussite OOD de 14,50 % à partir de zéro, 26,62 % en co-entraînement). OpenWAM-α utilise Wan2.2-VAE comme encodeur visuel gelé, Wan2.2-TI2V-5B comme backbone du flux vidéo, un ActionDiT de 1 milliard de paramètres traitant le flux d'action, avec un espace d'action unifié de 80 dimensions ; le pré-entraînement utilise environ 518,5 millions de frames, soit environ 6 369 heures. L'article affirme qu'il devance le deuxième d'environ 4 points de pourcentage sur EBench en SR et Score, atteint un taux de réussite moyen de 82,5 % sur six tâches avec un robot réel à bras unique, et rapporte des résultats après affinage sur des morphologies de mains dextres non vues.
Conséquences pour les développeurs
Pour les développeurs en apprentissage robotique, l'impact porte principalement sur trois points, tous des inférences basées sur les rapports de la source et non des faits vérifiés. Premièrement, l'approche d'espace d'action unifié avec masques de validité mappe les actions articulaires/effecteurs de différentes plateformes vers des emplacements fixes, ce qui évite de réécrire la tête d'action lors de l'affinage inter-morphologies ; cela réduit le coût d'intégration d'une nouvelle plateforme robotique, mais au prix de devoir d'abord établir la convention de mappage des actions et états vers les emplacements. Deuxièmement, les données de déploiement rapportées par la source (inférence synchrone, débruitage conjoint en 10 étapes, via compilation à forme fixe, CUDA Graph, cache de vitesse, cache d'embedding de prompt, saut du décodage VAE du chemin de contrôle, environ 170 millisecondes par bloc d'action sur RTX 5090) indiquent que sa pile d'inférence est hautement optimisée pour des formes fixes et des caches ; si votre résolution d'entrée, longueur de bloc d'action ou taille de lot varient fréquemment, le gain de ces optimisations diminue nettement. Troisièmement, la source souligne explicitement la division du travail entre WAM et VLA : WAM est plus proche de la distribution d'entraînement sur les tâches en distribution, VLA est généralement plus robuste sous perturbations hors distribution ; la baisse sur LIBERO-Plus se concentre sur les perturbations de caméra et de bruit, attribuée à la proportion limitée d'échantillons de perturbation à bras unique similaires dans les données de pré-entraînement et à la sensibilité accrue de la prédiction à long terme dans l'espace latent pixel au bruit de point de vue. Cela signifie qu'utiliser directement WAM sur un site à disposition de capteurs variable ou à vibrations haute fréquence nécessite d'abord un renforcement ciblé des données, plutôt que d'attendre une généralisation immédiate.
Intégration et évaluation
Ce qui suit sont des recommandations et analyses conditionnelles, non des faits énoncés par la source. Recommandation un : remplacer ou non le backbone vidéo dépend de votre budget de calcul et de votre tolérance à l'écart de taux de réussite. La source rapporte que le backbone 14B dépasse le 5B de 1,40 point de pourcentage, et le 5B a été choisi par défaut ; donc si vous êtes en phase mono-machine multi-GPU avec réentraînements fréquents, utilisez d'abord le 5B comme référence, et fixez le critère d'évaluation à un taux de réussite moyen non inférieur à votre solution actuelle dans la même configuration RoboTwin2.0 à budget fixe, en enregistrant la latence d'un entraînement et d'un bloc d'action en inférence. Si votre tâche est une manipulation longue et de haute précision avec un calcul stable disponible, vérifiez alors si le 14B apporte un gain supérieur au niveau de bruit. Recommandation deux : adopter ou non le flux d'information à vision bidirectionnelle mutuelle dépend de si vous avez effectué un pré-entraînement incarné inter-domaines. La source rapporte qu'à partir de zéro le flux unidirectionnel monde-vers-action est légèrement avantageux, tandis qu'après pré-entraînement la vision bidirectionnelle mutuelle est plus stable en domaine et hors domaine ; donc si vous affinez directement les poids pré-entraînés officiels, reproduisez en priorité la configuration à vision bidirectionnelle mutuelle ; si vous entraînez à partir de zéro un modèle sur peu de données, comparez d'abord le réglage unidirectionnel. Le critère d'évaluation suggéré est le taux de réussite dans un réglage de randomisation de type Clean2Random, en exigeant que les métriques en domaine ne baissent pas nettement sous la référence. Recommandation trois : investir ou non dans des données à la première personne humaine dépend de si votre goulot d'étranglement est la précision en domaine ou la généralisation hors distribution. La source rapporte que le pré-entraînement améliore peu le domaine mais significativement l'OOD, et que le co-entraînement en une seule phase est légèrement supérieur au fractionné. Donc si votre site se caractérise par un nouvel éclairage, un nouvel arrière-plan, une nouvelle pose de caméra, enrichissez en priorité les données mixtes à la première personne humaine et robotiques en entraînement mono-phase ; si votre problème est un taux d'échec élevé de saisie de base, renforcez d'abord la qualité d'annotation des actions des trajectoires robotiques. Recommandation quatre : avant d'intégrer l'espace d'action, vérifiez par rejeu à petite échelle que les dimensions inutilisées du mappage 80 dimensions sont correctement masquées par le masque de validité, puis évaluez le taux de réussite après affinage, afin d'éviter que des dimensions invalides polluent le signal d'entraînement.
Limites et points à confirmer
Cette version OpenWAM-α n'apparaît pas actuellement dans le catalogue de modèles en temps réel de KimiSeek ; les développeurs ne peuvent pas l'appeler directement sur ce site ; les modèles et publications de données mentionnés dans la source renvoient à des pages de projet telles que Hugging Face, sans rapport avec la disponibilité sur ce site. Tous les chiffres de performance de la source (y compris les taux de réussite moyens des backbones, l'avance sur EBench, les taux de réussite sur robot réel) proviennent des déclarations des auteurs de l'article ; cet article ne les a pas reproduits indépendamment, ni recomparé ces méthodes dans des conditions unifiées ; les différents backbones ne sont pas totalement identiques en structure, données et objectifs, et la source elle-même rappelle qu'on ne peut pas attribuer simplement le gain au nombre de paramètres. Les résultats sur robot réel proviennent de la plateforme expérimentale de l'équipe de recherche ; l'ensemble des tâches, le protocole d'évaluation et la configuration matérielle diffèrent grandement d'un site de production et ne peuvent être extrapolés directement. Des formulations de la source comme « première division » manquent de classement complet benchmark par benchmark ; les lecteurs doivent se référer aux données du panneau de l'article. La source n'indique pas si le projet adopte une licence open source, ni si les poids autorisent un usage commercial ; la possibilité de télécharger les poids n'équivaut pas à l'obtention d'une licence open source, il faut se référer aux clauses réelles du dépôt et de la fiche du modèle. La reproductibilité dépend de l'obtention complète des poids pré-entraînés, des recettes de données et du protocole d'évaluation ; la source affirme les avoir publiés, mais leur exhaustivité réelle et la stratégie de maintenance future restent inconnues ; les licences de distribution des sources de données peuvent aussi limiter vos usages de réentraînement.