DexRoam、一人称視点の人間実演でロボットを訓練 平均成功率29%→56%と報道
機械之心の2026年11月5日の報道によると、香港科技大学、北京智源研究院、北京大学などがDexRoamを提案した。一人称視点の人間全身実演で移動双腕の器用操作を訓練するもので、3段階のアラインメント後、「人間による事前学習+人機共同ファインチューニング」によりGR00T N1.7の平均成功率が29%から56%へ、π₀.₅が32%から57%へ上昇し、ロボット実演を半減しても完全なベースラインに近い水準を維持した。収集・アラインメントと方針学習のコードはオープンソース化済みとされる。
主な変更
機械之心の2026年11月5日の報道によると、香港科技大学、北京智源研究院、北京大学などの共同チームがDexRoamを提案した。一人称視点の人間実演の収集、全身動作のアラインメント、ロボット方針学習、実機実行をカバーするシステムで、同論文はCoRL 2026に採択されたと報じられている。 収集側では、外部モーションキャプチャ装置を必要としないと報道されている。実演者がMeta Quest 3ヘッドセットと頭部装着型ZED Miniステレオカメラを装着すると、一人称視点の映像、全身関節の動き、手のキーポイントを同期記録でき、カメラ映像はヘッドセットにリアルタイムで映し出されて方針学習の視覚観測と一致させる。チームは別に、VRヘッドセット、コントローラ、データグローブでロボットの台車、胴体、双腕、頭部、器用手を同期制御する1人用の全身遠隔操作システムも構築した。 アラインメントは3段階。人体の骨盤を基準に座標系を構築し手のリターゲティングを行う身体アラインメント、台車・胴体・双腕の動きを相対動作表現に書き換える動作意味アラインメント、タスク進捗に応じて人間の軌道をリサンプリングしロボットの時間スケールに合わせる時間アラインメントである。報道によると、アラインメント後、人間とロボットの動作分布のMMDとSWD指標はそれぞれ平均41.7%と31.1%低下し、変換後の人間軌道は実機で再生できた。 方針側では、GR00T N1.7とπ₀.₅の2つのVLAモデルで3つの訓練方式を比較した。人機共同訓練、人間による事前学習後にロボットデータでファインチューニング、人間による事前学習後に人機共同ファインチューニングである。報道によると5つのタスクで3方式はいずれも向上をもたらし、3番目が最良で、GR00T N1.7の平均成功率は29%から56%へ、π₀.₅は32%から57%へ上昇した。チームはまた、人間実演の数が同じでロボット実演を半減した場合、タスク性能は完全なロボットデータを使うベースラインに近いとし、約50%の遠隔操作データを代替する可能性として表現している。人間実演にのみ見られた行動として、ポテトチップスの缶を取る際に物体の向きに応じて側面掴みに切り替える例があり、ロボットデータのみで訓練した方針は正面掴みに偏った。報道によると、収集・アラインメントのコードと方針学習のコードはいずれもオープンソース化され、論文とプロジェクトのアドレスも示されている。
開発者への影響
身体性モデルのファインチューニングやデータパイプラインに取り組む開発者にとって、このニュースの要点は特定の新モデルではなく、訓練データの入手元の構造が変わり得る点にある。報道の中心的主張は、3段階のアラインメントを経た人間の全身実演が、ロボット実演と同じ観測—動作インターフェースを共有してVLA方針学習に参加でき、人間データのためにモデル構造を追加変更する必要がないというものだ。そのため、遠隔操作による実演収集のコストが高く、複数の操作者の協調すら必要な移動双腕の場面では、一人称視点の人間実演は拡張可能な補完データ源と見なされ、高価なロボット遠隔操作データの一部を代替し得る。 層を区別する必要がある。人間データは自前収集の携帯機器の組み合わせから、ロボットデータは自作の遠隔操作システムから得ており、GR00T N1.7とπ₀.₅はいずれも既存の第三者VLAモデルである。DexRoamが提供するのは手法とコードであり、直接呼び出せるホスト型サービスや新しい重みのセットではない。そのため接続方法への影響は間接的だ。あなたの後段訓練や評価の流れに全身協調の実演が欠けているなら、収集とアラインメント段階の代替経路を提供する。単にAPI経由でVLAの推論を呼ぶだけなら、報道の結論はリクエストパラメータ、並行挙動、課金構造を変えない。 本当に再評価すべきはデータ予算の配分である。人間実演がタスクの意味を覆い、アラインメント後の動作があなたの身体で実行可能なら、収集予算の一部を遠隔操作から人間実演へ移すのは合理的な候補となる。逆に、タスクが人間実演で再現しにくい接触力や精密組立に依存するなら、この代替関係に根拠はない。
導入と評価の提案
以下の3点は上記報道に基づく条件付きの提案と推論であり、報道の結論ではなく、独立に検証もされていない。結論ではなく検証待ちの仮説として扱ってほしい。 第一に、人間データを訓練に投入するかを決める前に、アラインメント段階に再生の関門を設ける。対応する報道の変化は、3段階のアラインメントでMMDとSWDが平均41.7%と31.1%低下し、変換後の人間軌道が実機で再生できたことだ。行う選択は、訓練レシピを調整する前に、あなたの身体で人間実演を上流データ源として導入するかどうかである。前提は、対象身体の関節マッピングと手のリターゲティング規則が入手でき、一人称視点の全身データを記録できることだ。測定可能な判断基準は、あなたのタスクセットでアラインメント前後の人間とロボットの動作分布のMMD/SWDを比較し、人間軌道の実機再生成功率を数えること(例えば20本の軌道を固定抽出し、再生成功の割合が半数を下回ればマッピングが収束していないと判断する)。再生が基準に達しなければ方針学習には進まない。 第二に、訓練レシピはまず「人間による事前学習+人機共同ファインチューニング」を試すが、デモ動画を見るだけでなく統制比較で確認する。対応する報道の変化は、3つの訓練方式のうちこの組み合わせが最良で、2モデルの平均成功率がそれぞれ29%から56%、32%から57%へ上昇したことだ。行う選択は、3つのレシピのうちどれを先に走らせるかである。条件はロボット実演の量にある。ロボットデータが乏しければこの組み合わせを優先する。ロボットデータ自体が十分で、対象タスクが人間実演の動作と大きく異なるなら、直接の人機共同訓練が手軽な出発点になり得る。測定可能な基準は、ロボット実演の本数を固定し(例えば同数で横比較)、同じ評価タスクで3レシピの平均成功率とタスク達成度を比較し、単発の最良成績ではなく分散も記録することだ。 第三に、データ半減曲線で、次の収集予算を人間実演に振るか遠隔操作に振るかを決める。対応する報道の変化は、ロボット実演を半減してもタスク性能が完全なベースラインに近いことだ。行う選択は予算をどちら側に投じるかである。前提は対象タスクが人間実演で覆えることであり、高精度の力制御や人間が演示に適さない操作を含むなら前提は成立しない。測定可能な基準は、ロボット実演を100%、50%、25%へ段階的に減らして成功率曲線を描くことだ。50%の段階が許容できる性能範囲に収まる場合にのみ予算を人間収集へ移し、そうでなければ遠隔操作への投入を維持する。
制限と未確認事項
報道の成功率、MMD/SWDの低下幅、ロボットデータ半減の結論はいずれもチーム自身の5タスク実験に由来し、独立再現は見られない。5タスクの具体的構成、使用したロボットプラットフォームの型番、完全な評価プロトコルは報道で詳述されておらず、身体をまたぐ移植には再検証が必要だ。人的アラインメントの品質は収集機器の校正と実演者の操作習慣に依存し、実演者をまたぐ安定性のデータは報道で示されていない。 オープンソースの範囲は区別が必要だ。報道は収集・アラインメントのコードと方針学習のコードがオープンソース化されたと述べるのみで、具体的なライセンス条項は説明しておらず、ロボットハードウェアのリストや調達可能な構成も示していない。コードのオープンソースは、いかなるモデル重みのオープンソースとも同義ではない。GR00T N1.7とπ₀.₅は既存の第三者VLAモデルであり、その重みが開放されているか、どのような条件で使えるかは各公開元が決めることで、この報道から推測することはできない。 可用性について。2026年11月12日時点のカタログ確認では、DexRoamに対応する項目はKimiSeekカタログになく、GR00T N1.7とπ₀.₅も正確に一致する項目はない。報道もベンダーがホストするAPIには触れておらず、入手方法はチームの公開リポジトリと論文による。今後関連するベンダーのインターフェースやホスト型サービスが現れた場合、その可用範囲と価格は本カタログではなく当該公開ベンダーの説明によるべきだ。