← 全部模型资讯

DexRoam 用人类第一视角示范训练机器人:报道称平均成功率 29% 到 56%,机器人示范可减半

据机器之心 2026 年 11 月 5 日报道,香港科技大学、北京智源研究院、北京大学等提出 DexRoam,用第一视角人类全身示范训练移动双臂灵巧操作:三阶段对齐后,「人类预训练+人机联合微调」使 GR00T N1.7 平均成功率从 29% 升至 56%、π₀.₅ 从 32% 升至 57%,机器人示范减半仍接近完整基线,采集对齐与策略训练代码已开源。

发布 更新

发生了什么

据机器之心 2026 年 11 月 5 日报道,香港科技大学、北京智源研究院、北京大学等机构的联合团队提出 DexRoam,一套覆盖第一视角人类示范采集、全身动作对齐、机器人策略学习与真机执行的系统,报道称该工作已被 CoRL 2026 接收。 采集侧,报道称系统不需要外部动捕设备:示范者佩戴 Meta Quest 3 头显与头戴式 ZED Mini 双目相机,即可同步记录第一视角视频、全身关节运动与手部关键点,相机画面实时回显到头显中以保持与策略训练视觉观测一致;团队另建了一套单人全身遥操作系统,用 VR 头显、控制器与数据手套同步控制机器人底盘、躯干、双臂、头部与灵巧手。 对齐分三步:以人体骨盆为参考建立坐标系并做手部重定向的本体对齐;把底盘、躯干和双臂运动改写为相对动作表征的动作语义对齐;按任务进度重采样人类轨迹、匹配机器人时间尺度的时间对齐。报道称对齐后人类与机器人动作分布的 MMD 与 SWD 指标分别平均下降 41.7% 和 31.1%,且转换后的人类轨迹能在真机上成功回放。 策略侧,团队用 GR00T N1.7 与 π₀.₅ 两个 VLA 模型比较三种训练方式:人机联合训练、人类预训练后用机器人数据微调、人类预训练后进行人机联合微调。报道称五项任务上三种方式都带来提升,第三种最好,GR00T N1.7 平均成功率从 29% 提升至 56%,π₀.₅ 从 32% 提升至 57%。团队还称在人类示范数量不变、机器人示范减半时,任务表现与使用完整机器人数据的基线相近,并按约 50% 的遥操作数据替代来表述这一潜力;一个只见于人类示范的行为是拿取薯片罐时根据物体朝向改用侧面抓取,仅用机器人数据训练的策略偏向正面抓取。报道称采集与对齐代码、策略训练代码均已开源,并给出论文与项目地址。

对开发者的影响

对做具身模型微调和数据管线的开发者,这条消息的落点不是某个新模型,而是训练数据来源的结构可能改变。报道的核心主张是:经过三阶段对齐的人类全身示范可以与机器人示范共用同一套观测—动作接口参与 VLA 策略训练,不需要为人类数据额外修改模型结构;因此在遥操作示范采集成本高、甚至需要多名操作者协同的移动双臂场景里,人类第一视角示范被视为可扩展的补充数据源,并可能替代一部分昂贵的机器人遥操作数据。 需要区分层次:人类数据来自自采的便携设备组合,机器人数据来自自建遥操作系统,GR00T N1.7 与 π₀.₅ 都是既有第三方 VLA 模型,DexRoam 交付的是方法与代码,而不是可直接调用的托管服务或一套新权重。这让它对接入方式的影响是间接的——如果你的后训练或评测流程缺少全身协调类示范,它提供的是采集与对齐环节的替代路径;如果你只是通过 API 调用某个 VLA 做推理,报道中的结论不会改变你的请求参数、并发行为或计费结构。 真正需要重新评估的是数据预算分配:当人类示范能覆盖任务语义、且对齐后动作在你的本体上可执行时,把一部分采集预算从遥操作转向人类示范是合理的候选方案;反之,若任务依赖人类示范中难以复现的接触力或精密装配,这一替代关系没有依据。

接入与评估建议

以下三条是基于上述报道的条件性建议与推断,不是报道中的结论,也未被独立验证,请当作待验证的假设而非结论。 第一,先给对齐环节设一道回放门槛,再决定是否让人类数据进入训练。对应的报道变化是三阶段对齐使 MMD、SWD 平均下降 41.7% 和 31.1%,且转换后的人类轨迹能在真机上回放。要做的选择是:是否在你自己的本体上引入人类示范作为上游数据源,而不是先调训练配方。前提条件是你拿得到目标本体的关节映射与手部重定向规则,并能录制第一视角全身数据。可度量的判断标准:在你的任务集上对比对齐前后人类与机器人动作分布的 MMD/SWD,并统计人类轨迹的真机回放成功率(例如固定抽样 20 条轨迹,回放成功比例低于多数即说明映射未收敛),回放不达标就先不进入策略训练。 第二,训练配方先试「人类预训练+人机联合微调」,但用受控对比确认,而不是只看演示视频。对应的报道变化是三种训练方式中该组合最好,两个模型平均成功率分别从 29% 到 56%、从 32% 到 57%。要做的选择是三种配方里先跑哪一个。条件在于你的机器人示范量:机器人数据稀缺时优先这一组合;如果机器人数据本身充足、目标任务又与人类示范动作差异较大,那么直接人机联合训练可能是更省事的起点。可度量的标准是固定机器人示范条数(例如同等条数下横向比较),在相同评测任务上比较三种配方的平均成功率与任务完成度,并记录方差而非单次最好成绩。 第三,用数据减半曲线决定下一笔采集预算是给人类示范还是给遥操作。对应的报道变化是机器人示范减半后任务表现仍与完整基线相近。要做的选择是预算投向哪一侧。前提是目标任务能被人类示范覆盖,若涉及高精度力控或人类不宜演示的操作,该前提不成立。可度量的标准是逐步把机器人示范降到 100%、50%、25%,画出成功率曲线;只有当 50% 档仍落在你可接受的性能区间内,才把预算转向人类采集,否则保留遥操作投入。

限制与待确认事项

报道中的成功率、MMD/SWD 降幅与机器人数据减半结论都来自团队自己的五项任务实验,未见独立复现;五项任务的具体构成、所用机器人平台型号与完整评测协议在报道中没有展开,跨本体移植需要重新验证。人工对齐质量依赖采集设备的标定与示范者操作习惯,报道没有给出跨示范者的稳定性数据。 开源范围需要分清:报道只说采集与对齐代码、策略训练代码已开源,并未说明具体许可条款,也没有说明机器人硬件清单与可采购配置;代码开源不等同于任何模型权重开源。GR00T N1.7 与 π₀.₅ 是既有第三方 VLA 模型,其权重是否开放、以什么条件使用,由各自发布方决定,不能从这篇报道推断。 可用性说明:截至 2026 年 11 月 12 日的目录核对,DexRoam 在 KimiSeek 目录中没有对应条目,GR00T N1.7 与 π₀.₅ 同样没有精确匹配的条目;报道也未提及任何厂商托管的 API,其获取方式以团队公开仓库与论文为准。若后续出现相关厂商接口或托管服务,其可用范围与价格应以该发布厂商的说明为准,而不是本目录。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

CoRL 2026|移动双臂灵巧操作,也能从人类示范中学?

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。