DexRoam entrena robots con demostraciones humanas en primera persona: se reporta un éxito medio del 29% al 56% y que las demostraciones robóticas pueden reducirse a la mitad
Según un reportaje de Machine Heart del 5 de noviembre de 2026, la Universidad de Ciencia y Tecnología de Hong Kong, el Instituto de Inteligencia Artificial de Pekín (BAAI), la Universidad de Pekín y otras instituciones propusieron DexRoam, que entrena manipulación diestra móvil con dos brazos mediante demostraciones humanas de cuerpo completo en primera persona: tras una alineación en tres etapas, el reportaje afirma que «preentrenamiento humano + ajuste fino conjunto humano-robot» eleva la tasa de éxito media de GR00T N1.7 del 29% al 56% y la de π₀.₅ del 32% al 57%; con la mitad de demostraciones robóticas se mantendría cerca de la línea base completa, y el código de captura, alineación y entrenamiento de políticas ya está abierto.
Qué ha cambiado
Según un reportaje de Machine Heart del 5 de noviembre de 2026, un equipo conjunto de la Universidad de Ciencia y Tecnología de Hong Kong, el Instituto de Inteligencia Artificial de Pekín (BAAI), la Universidad de Pekín y otras instituciones propuso DexRoam, un sistema que abarca la captura de demostraciones humanas en primera persona, la alineación de movimiento de cuerpo completo, el aprendizaje de políticas robóticas y la ejecución en robot real; el reportaje indica que el trabajo fue aceptado en CoRL 2026. En la captura, el reportaje señala que el sistema no requiere equipos externos de captura de movimiento: el demostrador lleva un visor Meta Quest 3 y una cámara binocular ZED Mini montada en la cabeza, y así registra de forma sincronizada vídeo en primera persona, movimiento articular de todo el cuerpo y puntos clave de la mano; la imagen de la cámara se muestra en tiempo real en el visor para mantenerla coherente con la observación visual del entrenamiento de la política. El equipo construyó además un sistema de teleoperación de cuerpo completo para una sola persona, que controla de forma sincronizada la base, el torso, ambos brazos, la cabeza y la mano diestra del robot con un visor VR, mandos y guantes de datos. La alineación tiene tres pasos: alineación corporal, que establece un sistema de coordenadas con la pelvis humana como referencia y reorienta la mano; alineación semántica de la acción, que reescribe el movimiento de base, torso y brazos como una representación de acción relativa; y alineación temporal, que remuestrea las trayectorias humanas según el progreso de la tarea y las ajusta a la escala temporal del robot. El reportaje afirma que, tras la alineación, los indicadores MMD y SWD de las distribuciones de movimiento humano y robótico bajan en promedio un 41,7% y un 31,1% respectivamente, y que las trayectorias humanas convertidas se reproducen con éxito en el robot real. En la política, el equipo comparó con los dos modelos VLA GR00T N1.7 y π₀.₅ tres formas de entrenamiento: entrenamiento conjunto humano-robot, preentrenamiento humano seguido de ajuste fino con datos robóticos, y preentrenamiento humano seguido de ajuste fino conjunto humano-robot. El reportaje indica que las tres formas aportan mejoras en cinco tareas y que la tercera es la mejor: según el reportaje, GR00T N1.7 pasa de una tasa de éxito media del 29% al 56% y π₀.₅ del 32% al 57%. El equipo también afirma que, con el mismo número de demostraciones humanas y la mitad de demostraciones robóticas, el rendimiento se acerca a la línea base con datos robóticos completos, y formula este potencial como una sustitución de alrededor del 50% de los datos de teleoperación; un comportamiento que solo aparece con demostraciones humanas es el cambio a un agarre lateral según la orientación del objeto al coger un bote de patatas fritas, mientras que una política entrenada solo con datos robóticos tiende al agarre frontal. El reportaje señala que el código de captura y alineación y el de entrenamiento de políticas ya están abiertos, y ofrece las direcciones del artículo y del proyecto.
Impacto para desarrolladores
Para los desarrolladores que hacen ajuste fino de modelos encarnados y canalizaciones de datos, el punto de esta noticia no es un modelo nuevo, sino que puede cambiar la estructura de las fuentes de datos de entrenamiento. La afirmación central del reportaje es que las demostraciones humanas de cuerpo completo, tras una alineación en tres etapas, pueden compartir la misma interfaz observación-acción con las demostraciones robóticas y participar en el entrenamiento de políticas VLA sin modificar la estructura del modelo para los datos humanos; por ello, en escenarios de manipulación móvil con dos brazos donde la captura de demostraciones por teleoperación es costosa o incluso requiere varios operadores, las demostraciones humanas en primera persona se presentan como una fuente de datos complementaria escalable que podría sustituir parte de los costosos datos de teleoperación robótica. Hay que distinguir niveles: los datos humanos proceden de una combinación de dispositivos portátiles propios y los robóticos de un sistema de teleoperación propio; GR00T N1.7 y π₀.₅ son modelos VLA de terceros ya existentes, y DexRoam entrega un método y código, no un servicio gestionado listo para usar ni un conjunto de pesos nuevos. Por eso su efecto sobre la forma de integración es indirecto: si tu proceso de posentrenamiento o evaluación carece de demostraciones de coordinación de cuerpo completo, ofrece una vía alternativa en las etapas de captura y alineación; si solo llamas a un VLA por API para inferencia, las conclusiones del reportaje no cambian tus parámetros de petición, tu comportamiento de concurrencia ni tu estructura de facturación. Lo que sí conviene reevaluar es el reparto del presupuesto de datos: cuando las demostraciones humanas cubren la semántica de la tarea y las acciones alineadas son ejecutables en tu robot, pasar parte del presupuesto de captura de teleoperación a demostraciones humanas es una opción razonable; en cambio, si la tarea depende de fuerzas de contacto o montaje preciso difíciles de reproducir en demostraciones humanas, esa sustitución no tiene base.
Integración y evaluación
Las tres recomendaciones siguientes son sugerencias condicionales e inferencias basadas en el reportaje, no conclusiones de este, y no han sido verificadas de forma independiente; tómalas como hipótesis pendientes de validación, no como conclusiones. Primero, pon un umbral de reproducción en la etapa de alineación antes de decidir si los datos humanos entran en el entrenamiento. El cambio reportado correspondiente es que la alineación en tres etapas reduce MMD y SWD en promedio un 41,7% y un 31,1%, y que las trayectorias humanas convertidas se reproducen en el robot real. La decisión es si introducir demostraciones humanas como fuente de datos aguas arriba en tu propio robot, en lugar de ajustar primero la receta de entrenamiento. La condición previa es disponer de las reglas de mapeo articular y reorientación de la mano del robot objetivo y poder grabar datos de cuerpo completo en primera persona. Criterio medible: comparar en tu conjunto de tareas el MMD/SWD de las distribuciones de movimiento humano y robótico antes y después de la alineación, y medir la tasa de éxito de reproducción en robot real de las trayectorias humanas (por ejemplo, muestrear 20 trayectorias fijas; si la proporción de éxito es baja en la mayoría, el mapeo no ha convergido) y, si la reproducción no cumple, no pasar aún al entrenamiento de políticas. Segundo, probar primero la receta «preentrenamiento humano + ajuste fino conjunto humano-robot», pero confirmarla con una comparación controlada y no solo viendo vídeos de demostración. El cambio reportado es que esta combinación es la mejor de las tres y que la tasa de éxito media de los dos modelos, según el reportaje, pasa del 29% al 56% y del 32% al 57%. La decisión es cuál de las tres recetas ejecutar primero. Depende de tu volumen de demostraciones robóticas: si escasean, prioriza esta combinación; si hay datos robóticos suficientes y la tarea objetivo difiere mucho de las acciones humanas, el entrenamiento conjunto directo puede ser un punto de partida más sencillo. Criterio medible: fijar el número de demostraciones robóticas (por ejemplo, comparar con el mismo número) y comparar en las mismas tareas de evaluación la tasa de éxito media y el grado de finalización de las tres recetas, registrando la varianza y no solo el mejor resultado puntual. Tercero, usar la curva de datos reducidos a la mitad para decidir si el siguiente presupuesto de captura va a demostraciones humanas o a teleoperación. El cambio reportado es que, con la mitad de demostraciones robóticas, el rendimiento se mantiene cerca de la línea base completa. La decisión es hacia qué lado dirigir el presupuesto. La condición previa es que la tarea objetivo pueda cubrirse con demostraciones humanas; si implica control de fuerza de alta precisión u operaciones que no conviene que un humano demuestre, la condición no se cumple. Criterio medible: reducir gradualmente las demostraciones robóticas al 100%, 50% y 25% y trazar la curva de éxito; solo si el nivel del 50% sigue dentro del intervalo de rendimiento aceptable se puede desviar el presupuesto a la captura humana; de lo contrario, mantener la inversión en teleoperación.
Límites y cuestiones pendientes
Las tasas de éxito, las reducciones de MMD/SWD y la conclusión sobre la reducción a la mitad de los datos robóticos proceden de los experimentos propios del equipo en cinco tareas y no se ha visto una reproducción independiente; el reportaje no detalla la composición concreta de las cinco tareas, el modelo de plataforma robótica utilizado ni el protocolo de evaluación completo, y la transferencia entre robots requiere una nueva validación. La calidad de la alineación manual depende de la calibración de los dispositivos de captura y de los hábitos del demostrador, y el reportaje no ofrece datos de estabilidad entre distintos demostradores. Hay que distinguir el alcance del código abierto: el reportaje solo dice que el código de captura y alineación y el de entrenamiento de políticas están abiertos, sin precisar los términos de licencia ni la lista de hardware del robot y las configuraciones adquiribles; que el código sea abierto no equivale a que lo sean los pesos de ningún modelo. GR00T N1.7 y π₀.₅ son modelos VLA de terceros ya existentes, y si sus pesos están abiertos y bajo qué condiciones lo decide cada publicador; no puede inferirse de este reportaje. Nota de disponibilidad: según la comprobación del catálogo a fecha del 12 de noviembre de 2026, DexRoam no tiene entrada correspondiente en el catálogo de KimiSeek, y GR00T N1.7 y π₀.₅ tampoco tienen una entrada con coincidencia exacta; el reportaje tampoco menciona ninguna API gestionada por fabricantes, y su forma de acceso remite al repositorio público del equipo y al artículo. Si más adelante aparecen interfaces o servicios gestionados de fabricantes relacionados, su alcance de disponibilidad y sus precios deben regirse por las indicaciones de ese fabricante, no por este catálogo.