清华 AIR 曹婷谈具身 ICL:ICCL 因果提取、端侧大脑与后训练的边界
雷峰网 2026 年 11 月 12 日刊出清华大学智能产业研究院教授、域变换联合创始人兼 CTO 曹婷的访谈。她称具身上下文学习有三条路线,团队走 ICCL 上下文因果学习,用两阶段训练的动作-效果提取器把无标注第一视角数据转成动作监督信号;并称家庭场景靠 ICL 泛化、工厂产线仍靠小数据后训练保精度。报道未提开放权重、许可或 API。

发生了什么
报道在开头称,今年初秋 Skild S1、Generalist GEN-1.5、RoboTTT 等工作密集亮相,把上下文学习带入具身领域。据访谈,具身领域的 ICL 目前有三条路线:一是期待能力像语言模型那样在线涌现,报道以 Generalist 为例;二是显式训练,让模型由视频提示直接预测下一条动作,报道以 Skild 为例;三是曹婷团队提出的 ICCL(上下文因果学习)。ICCL 的出发点是视频里有移动的人、无关物体和反光,模型很难从中提炼动作信息,因此加一个动作-效果提取模块,只把动作及其产生的效果放进上下文。据访谈,团队最早的 Zeva 基于 Cosmos 起步,但方法不挑基模,World Model 与 VLA 都能用;随后的 Zeva-Ego 基于 VLA,用第一视角(ego)数据做中训练。因果提取器分两阶段训练:第一阶段由专门网络学习与动作无关的环境变化,第二阶段借助前一阶段的环境表征,只提取动作相关信息,再把没有动作标注的 ego 数据转成监督信号。报道给出的规模是 1 万小时无标注 ego 数据,开源数据需要清洗,清洗后大约只保留十分之一。时间线上,报道称 Z0 在 6 月发布,承担 harness 角色的 Zetta 在 8 月 18 日发布,Zeva 在 9 月 1 日与 Skild、Generalist 等同期发布,Zeva-Ego 在一个月内亮相,近期还会发布把机器人自采数据回流再训练基模的新工作。她还描述记忆分两层:执行当前任务的 working memory,以及可检索复用的跨任务长期记忆;并称其定义的 PSI(物理世界自进化)是一个闭环——在线学习积累成败数据、数据回流再训模型、基模变强后积累数据更快。架构上团队做上下两层:把具身的部分能力蒸馏到一个小 VLM 上,训到几十 B 参数,曹婷称效果与更大模型基本没有区别,这个小模型作为端侧大脑,负责理解用户指令、拆解长程任务、监控任务执行、生成恢复动作并调用下层工具和模型;下层是 Zeva、Zeva-Ego 这类世界模型与 VLA,Zetta 属于 agent 或 harness 一侧。她对大模型直接做控制的判断是时延:等模型返回结果,现场状态可能已经变了,而且大模型追求能力上限,思考过程与网络传输的开销都难减少。访谈还转述了 Skild 的报告口径,称未见任务上 ICL 步骤成功率只有 60% 多。
对开发者的影响
对做具身模型与数据管线的开发者,这组说法最直接的影响落在数据侧。报道所述的两阶段因果提取,把无标注第一视角视频变成动作监督信号,预算重心从标注转向清洗与提取;但“只留十分之一”是受访者的经验值,不是普适常数,如果你的 ego 数据来源更杂、动作密度更低,保留率与有效性都需要自己先量。校验这一步的可行做法是固定一个小规模、带杂乱背景的未见任务集,比较加与不加提取器时的步骤成功率,以及从首次尝试到成功的尝试次数;报道给出的参照是团队自述一两次即可成功、对比模型要五到六次,这属于自述量级,只能当参考。据访谈转述的 Skild 报告,未见任务 ICL 步骤成功率只有 60% 多,这个数字是对第三方报告的转述,若要当门槛,应回到原始报告核对。 评估口径需要跟着场景分开。报道把 ICL 放在任务频繁变化、要求泛化的一侧,把后训练放在形态固定、要求 99% 以上精度与低延迟的一侧,这等于说同一套模型在两边的验收标准不同:前者看未见任务成功率与尝试次数,后者看精度与单步时延,不能用同一张成绩单互相推翻。 延迟决定分层结构。报道明确说大模型能理解任务、规划步骤、调用工具,不等于具备可靠的物理执行能力,端侧时延与网络开销都难压缩;团队因此把能力往端侧几十 B 的小 VLM 上蒸馏,让它当大脑,实时操作交给下层世界模型与 VLA。对开发者来说,这把“规划放云端还是放本地”从偏好问题变成时延预算问题:如果控制回路要求快速响应,云侧大模型参与闭环中的每一步都值得先用端到端时延证伪一次。 最后一点是数据回流带来的行为漂移。报道称数据会全部回流、近期还会把自采数据训回基模,这类闭环一旦上线,模型行为会随部署继续变化。这属于对报道的推断而非报道事实:如果没有版本固定与回归测试,线上表现可能在你没改代码的日子里发生变化,提前定好观测口径和回滚手段,比事后归因省事。
接入与评估建议
以下三条是基于报道的推荐与条件分析,不是报道中的事实,也不代表团队做法在你的场景一定成立。 决策一:把在线上下文示范还是后训练当作主路径。报道的变化是行业从离线数采工厂转向部署后的在线上下文学习,曹婷称离线数据采得再多也覆盖不到真实世界的全部情况。要做的选择是先把在线示范与上下文管线接进环路,还是先做一轮小数据后训练。触发条件是任务变化频率、现场能否稳定提供示范,以及精度要求:任务每班都在变、允许试错,先上上下文管线更划算;任务形态固定且要求 99% 以上精度与低延迟,报道的说法是先采几百条数据做后训练仍是最经济可靠的办法。可量化的判据是自建杂乱背景测试集上的未见任务步骤成功率与首次成功所需尝试次数,把 60% 多这个被转述的第三方口径当下限参照,而不是当目标。 决策二:要不要先建动作-效果提取与数据清洗环节。报道的变化是用两阶段因果提取器把无标注 ego 数据转成动作监督信号,团队用了 1 万小时无标注数据。要做的选择是投入提取器与清洗管线,还是直接投入标注。前提是你已有大量无标注第一视角视频,并且能接受清洗后只留十分之一量级的保留率;如果这两条不满足,路径前提就不成立,先做人工标注或改用带动作标注的数据更实际。可量化的判据是清洗与提取后的可用样本数、下游未见任务成功率的增量,以及在杂乱背景下成功率是否明显高于不做提取的基线。 决策三:按报道的分工,把端侧小模型当上层大脑,而不是把长程理解放到云端大模型。报道的变化是把具身的部分能力蒸馏到几十 B 的小 VLM 上作为端侧大脑,负责理解指令、拆解长程任务、监控执行与生成恢复动作,下层世界模型与 VLA 负责实际操作,理由是大模型的思考过程与网络传输开销难以满足实时控制。要做的选择是按这套“端侧大脑加下层执行模型”的分层来设计,还是继续用云端大模型做闭环中的规划。触发条件是控制回路对时延的敏感度与现场网络条件:快速响应的操作任务越重,越应先验证端侧大脑能否达到可接受的能力;如果任务节奏慢、重规划能容忍秒级往返,云端方案未必需要替换。可量化的判据是同一条控制回路的端到端时延(尤其高百分位时延),以及执行失败后大脑生成恢复动作、让任务继续推进的恢复成功率。需要补充的是,“几十 B 小模型效果与更大模型基本没有区别”是受访者自述,需要你在自己的任务集上对比后才好采纳。
限制与待确认事项
这篇报道是访谈整理,所引成绩几乎都是团队口径或二手转述:公开评测集上“效果更好”、“一两次就能拿起来”、把小 VLM 训到几十 B“效果上基本没有区别”,都没有给出评测集名称、基线清单或复现脚本;Skild 的 60% 多经由受访者转述,属于转述口径。三条 ICL 路线是受访者的划分,不是行业统一的评测框架。清洗后只留十分之一是自述经验值,具体规则与数据构成未公开。访谈中还有大量人与产业内容,例如研究者履历、院系资源、其他公司融资,以及团队约 20 人且以博士生为主,这些与模型能力无关,不能作为选型依据。 可得性方面,报道只谈论文与方法,没有说明 Z0、Zeva、Zeva-Ego、Zetta、Z-infra 是否开放权重、采用何种许可,也没有给出可调用接口、输入输出格式或最低部署硬件;开放权重与开源许可是两件事,需要分开核实。需要明确的是,这些版本目前在 KimiSeek 的模型目录中都没有列出,本次报道也没有提到任何 API 上线信息,若后续出现相关接口,其可用性与条款属于厂商侧,以厂商公告为准。曹婷提到的“近期发布”的新工作在本稿成文时尚未公布,能力与开放范围均无法验证。
原报道配图











