← Alle Modellneuigkeiten

DexRoam trainiert Roboter mit menschlichen Ich-Perspektive-Demonstrationen: Bericht nennt 29 bis 56 Prozent durchschnittliche Erfolgsrate, halbierte Roboterdemonstrationen

Laut einem Bericht von Jiqizhixin vom 5. November 2026 haben die Hong Kong University of Science and Technology, das Beijing Academy of Artificial Intelligence, die Peking University und weitere Einrichtungen DexRoam vorgestellt: ein System, das mobile zweiar­mige, geschickte Manipulation mit menschlichen Ganzkörperdemonstrationen aus der Ich-Perspektive trainiert. Nach einer dreistufigen Ausrichtung hebt „menschliches Pretraining plus gemeinsames Mensch-Roboter-Feintuning“ die durchschnittliche Erfolgsrate von GR00T N1.7 von 29 auf 56 Prozent und die von π₀.₅ von 32 auf 57 Prozent; bei halbierten Roboterdemonstrationen bleibt das Ergebnis nahe an der vollständigen Baseline. Der Code für Erfassung, Ausrichtung und Policy-Training ist laut Bericht Open Source.

Veröffentlicht Aktualisiert

Was sich geändert hat

Laut einem Bericht von Jiqizhixin vom 5. November 2026 hat ein gemeinsames Team der Hong Kong University of Science and Technology, des Beijing Academy of Artificial Intelligence, der Peking University und weiterer Einrichtungen DexRoam vorgestellt – ein System, das die Erfassung menschlicher Demonstrationen aus der Ich-Perspektive, die Ausrichtung von Ganzkörperbewegungen, das Lernen von Roboter-Policies und die Ausführung auf realer Hardware abdeckt. Der Bericht gibt an, die Arbeit sei auf der CoRL 2026 angenommen worden. Auf der Erfassungsseite benötigt das System laut Bericht keine externe Bewegungs­erfassungsausrüstung: Demonstrierende tragen ein Meta-Quest-3-Headset und eine kopfmontierte ZED-Mini-Stereokamera und zeichnen damit synchron Ich-Perspektive-Video, Gelenkbewegungen des gesamten Körpers und Hand-Keypoints auf; das Kamerabild wird in Echtzeit ins Headset zurückgespielt, damit die visuelle Beobachtung mit dem Policy-Training übereinstimmt. Zusätzlich baute das Team ein Ein-Personen-Teleoperationssystem, mit dem VR-Headset, Controller und Datenhandschuh gleichzeitig Basis, Torso, beide Arme, Kopf und geschickte Hand des Roboters steuern. Die Ausrichtung erfolgt in drei Schritten: eine Körperausrichtung, die ein Koordinatensystem mit dem menschlichen Becken als Referenz aufbaut und die Hände neu ausrichtet; eine semantische Bewegungsausrichtung, die Basis-, Torso- und Armbewegungen in relative Aktionsrepräsentationen umschreibt; und eine zeitliche Ausrichtung, die menschliche Trajektorien nach Aufgabenfortschritt neu abtastet und an die Zeitskala des Roboters anpasst. Laut Bericht sinken nach der Ausrichtung die MMD- und SWD-Kennzahlen der Bewegungsverteilungen von Mensch und Roboter im Mittel um 41,7 bzw. 31,1 Prozent, und die umgewandelten menschlichen Trajektorien lassen sich erfolgreich auf realer Hardware abspielen. Auf der Policy-Seite verglich das Team mit den beiden VLA-Modellen GR00T N1.7 und π₀.₅ drei Trainingsansätze: gemeinsames Mensch-Roboter-Training, menschliches Pretraining mit anschließendem Feintuning auf Roboterdaten sowie menschliches Pretraining mit anschließendem gemeinsamen Mensch-Roboter-Feintuning. Der Bericht gibt an, dass alle drei Ansätze in fünf Aufgaben Verbesserungen brachten und der dritte der beste war: Die durchschnittliche Erfolgsrate von GR00T N1.7 stieg von 29 auf 56 Prozent, die von π₀.₅ von 32 auf 57 Prozent. Das Team berichtet zudem, dass bei unveränderter Anzahl menschlicher Demonstrationen und halbierten Roboterdemonstrationen die Aufgabenleistung nahe an der Baseline mit vollständigen Roboterdaten liegt; dieses Potenzial wird als Ersatz von etwa 50 Prozent der Teleoperationsdaten formuliert. Ein Verhalten, das nur in menschlichen Demonstrationen auftritt, ist der Wechsel zum seitlichen Greifen einer Chipstüte je nach Objektausrichtung, während eine nur mit Roboterdaten trainierte Policy zum frontalen Greifen neigt. Laut Bericht sind der Code für Erfassung und Ausrichtung sowie der Code für das Policy-Training Open Source; zudem werden Paper- und Projektadressen genannt.

Auswirkungen für Entwickler

Für Entwickler, die verkörperte Modelle feintunen und Datenpipelines bauen, liegt die Bedeutung dieser Meldung nicht in einem neuen Modell, sondern darin, dass sich die Struktur der Trainingsdatenquellen ändern könnte. Die Kernaussage des Berichts lautet: Nach einer dreistufigen Ausrichtung können menschliche Ganzkörperdemonstrationen dieselbe Beobachtungs-Aktions-Schnittstelle wie Roboterdemonstrationen nutzen und am VLA-Policy-Training teilnehmen, ohne dass die Modellarchitektur für menschliche Daten angepasst werden muss. In Szenarien mit mobilem Doppelarm, in denen die Erfassung von Teleoperationsdemonstrationen teuer ist und sogar mehrere Bedienpersonen erfordert, gelten menschliche Ich-Perspektive-Demonstrationen daher als skalierbare ergänzende Datenquelle und könnten einen Teil der teuren Robot-Teleoperationsdaten ersetzen. Dabei sind Ebenen zu unterscheiden: Die menschlichen Daten stammen aus einer selbst zusammengestellten tragbaren Gerätekombination, die Roboterdaten aus einem selbst gebauten Teleoperationssystem; GR00T N1.7 und π₀.₅ sind bestehende VLA-Modelle von Dritten, und DexRoam liefert Methodik und Code, nicht einen direkt aufrufbaren gehosteten Dienst oder neue Gewichte. Der Einfluss auf die Art der Anbindung ist daher indirekt: Fehlen in deinem Post-Training oder deiner Evaluationspipeline Ganzkörper-Koordinationsdemonstrationen, bietet es einen alternativen Weg bei Erfassung und Ausrichtung; rufst du ein VLA nur per API zur Inferenz auf, ändern die Schlussfolgerungen des Berichts weder deine Anfrageparameter noch dein Nebenläufigkeitsverhalten oder deine Abrechnungsstruktur. Wirklich neu zu bewerten ist die Verteilung des Datenbudgets: Wenn menschliche Demonstrationen die Aufgabensemantik abdecken und die ausgerichteten Aktionen auf deiner Hardware ausführbar sind, ist es ein plausibler Kandidat, einen Teil des Erfassungsbudgets von Teleoperation auf menschliche Demonstrationen zu verlagern. Hängt die Aufgabe dagegen von Kontaktkräften oder präziser Montage ab, die sich in menschlichen Demonstrationen kaum reproduzieren lassen, gibt es für diese Ersetzung keine Grundlage.

Integration und Bewertung

Die folgenden drei Punkte sind bedingte Empfehlungen und Schlussfolgerungen auf Basis des Berichts, nicht dessen Ergebnisse, und nicht unabhängig überprüft; behandle sie als zu prüfende Hypothesen, nicht als Befunde. Erstens: Setze eine Replay-Hürde bei der Ausrichtung, bevor du entscheidest, ob menschliche Daten ins Training gelangen. Die berichtete Änderung ist, dass die dreistufige Ausrichtung MMD und SWD im Mittel um 41,7 bzw. 31,1 Prozent senkt und umgewandelte menschliche Trajektorien auf realer Hardware abspielbar sind. Die Entscheidung ist, ob du menschliche Demonstrationen als vorgelagerte Datenquelle auf deiner eigenen Hardware einführst, und nicht, zuerst das Trainingsrezept zu ändern. Voraussetzung ist, dass du Gelenkzuordnungen und Regeln zur Hand-Neuausrichtung für die Zielhardware bekommst und Ich-Perspektive-Ganzkörperdaten aufzeichnen kannst. Messbare Kriterien: Vergleiche auf deinem Aufgabensatz MMD/SWD der Bewegungsverteilungen von Mensch und Roboter vor und nach der Ausrichtung und ermittle die Erfolgsrate des Replays menschlicher Trajektorien auf realer Hardware (z. B. feste Stichprobe von 20 Trajektorien; liegt die Erfolgsquote unter der Mehrheit, ist die Zuordnung nicht konvergiert). Erreicht das Replay die Hürde nicht, beginne nicht mit dem Policy-Training. Zweitens: Probiere als Trainingsrezept zuerst „menschliches Pretraining plus gemeinsames Mensch-Roboter-Feintuning“, bestätige es aber mit kontrollierten Vergleichen statt nur mit Demovideos. Die berichtete Änderung ist, dass diese Kombination unter den drei Ansätzen am besten abschneidet und die durchschnittliche Erfolgsrate der beiden Modelle von 29 auf 56 bzw. von 32 auf 57 Prozent steigt. Die Entscheidung ist, welches der drei Rezepte du zuerst laufen lässt. Bedingung ist die Menge deiner Roboterdemonstrationen: Sind Roboterdaten knapp, priorisiere diese Kombination; sind Roboterdaten reichlich und weicht die Zielaufgabe stark von menschlichen Demonstrationen ab, kann direktes gemeinsames Mensch-Roboter-Training der einfachere Start sein. Messbar: Fixiere die Anzahl der Roboterdemonstrationen (z. B. gleiche Anzahl für den Quervergleich), vergleiche auf denselben Evaluationsaufgaben durchschnittliche Erfolgsrate und Aufgabenerfüllung der drei Rezepte und protokolliere die Varianz statt nur des besten Einzelergebnisses. Drittens: Entscheide mit einer Kurve halbierter Daten, ob das nächste Erfassungsbudget an menschliche Demonstrationen oder an Teleoperation geht. Die berichtete Änderung ist, dass die Aufgabenleistung bei halbierten Roboterdemonstrationen nahe an der vollständigen Baseline bleibt. Die Entscheidung ist, in welche Seite das Budget fließt. Voraussetzung ist, dass die Zielaufgabe durch menschliche Demonstrationen abgedeckt werden kann; bei hochpräziser Kraftregelung oder für Menschen ungeeigneten Vorgängen gilt diese Voraussetzung nicht. Messbar: Reduziere die Roboterdemonstrationen schrittweise auf 100, 50 und 25 Prozent und zeichne die Erfolgskurve; erst wenn die 50-Prozent-Stufe in deinem akzeptablen Leistungsbereich liegt, verlagerst du Budget in die menschliche Erfassung, andernfalls behältst du die Teleoperationsinvestition bei.

Grenzen und offene Fragen

Die Erfolgsraten, die Rückgänge bei MMD/SWD und die Schlussfolgerung zur halbierten Roboterdatenmenge stammen alle aus den eigenen Fünf-Aufgaben-Experimenten des Teams; eine unabhängige Reproduktion ist nicht bekannt. Die genaue Zusammensetzung der fünf Aufgaben, das verwendete Robotermodell und das vollständige Evaluationsprotokoll werden im Bericht nicht ausgeführt; eine Übertragung auf andere Hardware erfordert erneute Validierung. Die Qualität der manuellen Ausrichtung hängt von der Kalibrierung der Erfassungsgeräte und den Bediengewohnheiten der Demonstrierenden ab; Stabilitätsdaten über verschiedene Demonstrierende hinweg nennt der Bericht nicht. Der Umfang des Open Source ist zu unterscheiden: Der Bericht sagt nur, dass der Code für Erfassung und Ausrichtung sowie der Code für das Policy-Training Open Source sind, ohne konkrete Lizenzbedingungen und ohne Liste der Roboterhardware oder beschaffbarer Konfigurationen; Open-Source-Code bedeutet nicht Open-Source-Modellgewichte. GR00T N1.7 und π₀.₅ sind bestehende VLA-Modelle von Dritten; ob und zu welchen Bedingungen ihre Gewichte offen sind, entscheiden die jeweiligen Herausgeber, und das lässt sich aus diesem Bericht nicht ableiten. Hinweis zur Verfügbarkeit: Beim Katalogabgleich mit Stand 12. November 2026 gibt es im KimiSeek-Katalog keinen Eintrag für DexRoam und auch keine exakt passenden Einträge für GR00T N1.7 und π₀.₅; der Bericht erwähnt auch keine von einem Anbieter gehostete API. Die Bezugsquelle sind die öffentlichen Repositories und das Paper des Teams. Sollten später entsprechende Anbieter-Schnittstellen oder gehostete Dienste erscheinen, richten sich Verfügbarkeit und Preis nach den Angaben des jeweiligen Anbieters und nicht nach diesem Katalog.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

CoRL 2026|移动双臂灵巧操作,也能从人类示范中学?

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.