칭화 AIR 차오팅이 말하는 임바디드 ICL: ICCL 인과 추출, 온디바이스 두뇌, 후속 학습의 경계
레이펑왕은 2026년 11월 12일, 칭화대 지능산업연구원(AIR) 교수이자 도메인 트랜스폼(Domain Transform) 공동 창업자 겸 CTO인 차오팅의 인터뷰를 실었다. 그녀는 임바디드 인컨텍스트 학습에 세 가지 경로가 있다고 말하며, 팀은 ICCL 인컨텍스트 인과 학습을 택해 2단계 학습의 행동-효과 추출기로 라벨 없는 1인칭 데이터를 행동 감독 신호로 바꾼다고 밝혔다. 또 가정 장면은 ICL 일반화에 기대고, 공장 생산라인은 여전히 소량 데이터 후속 학습으로 정밀도를 지킨다고 말했다. 보도는 오픈 웨이트, 라이선스, API를 언급하지 않았다.

주요 변화
보도는 서두에서 올해 초가을 Skild S1, Generalist GEN-1.5, RoboTTT 등의 작업이 잇달아 등장하며 인컨텍스트 학습을 임바디드 영역으로 끌어들였다고 전했다. 인터뷰에 따르면 임바디드 분야의 ICL에는 현재 세 가지 경로가 있다. 첫째는 언어 모델처럼 능력이 온라인에서 창발하기를 기대하는 것으로, 보도는 Generalist를 예로 든다. 둘째는 명시적 학습으로, 모델이 영상 프롬프트로부터 다음 행동을 직접 예측하게 하는 것이며 보도는 Skild를 예로 든다. 셋째는 차오팅 팀이 제안한 ICCL(인컨텍스트 인과 학습)이다. ICCL의 출발점은 영상에 움직이는 사람, 무관한 물체, 반사가 있어 모델이 행동 정보를 추려내기 어렵다는 것이어서, 행동-효과 추출 모듈을 추가해 행동과 그로 인한 효과만 컨텍스트에 넣는다. 인터뷰에 따르면 팀의 초기 Zeva는 Cosmos 기반으로 시작했지만 이 방법은 기반 모델을 가리지 않으며 World Model과 VLA 모두 쓸 수 있다. 이어 나온 Zeva-Ego는 VLA 기반으로 1인칭(ego) 데이터로 중간 학습을 한다. 인과 추출기는 두 단계로 학습한다. 1단계에서는 전용 네트워크가 행동과 무관한 환경 변화를 학습하고, 2단계에서는 1단계의 환경 표현을 활용해 행동 관련 정보만 추출한 뒤 행동 라벨이 없는 ego 데이터를 감독 신호로 바꾼다. 보도가 제시한 규모는 라벨 없는 ego 데이터 1만 시간이며, 공개 데이터는 정제가 필요해 정제 후에는 약 10분의 1만 남는다. 타임라인상 보도는 Z0가 6월에 공개됐고 harness 역할을 하는 Zetta가 8월 18일 공개됐으며, Zeva는 9월 1일 Skild, Generalist 등과 같은 시기에 공개됐고 Zeva-Ego는 한 달 안에 등장했으며, 최근에는 로봇이 자체 수집한 데이터를 되돌려 기반 모델을 다시 학습시키는 새 작업도 발표할 예정이라고 전했다. 그녀는 기억을 두 층으로 설명한다. 현재 작업을 수행하는 working memory와 검색해 재사용할 수 있는 작업 간 장기 기억이다. 또 자신이 정의한 PSI(물리 세계 자기 진화)는 온라인 학습으로 성패 데이터를 축적하고, 데이터가 되돌아와 모델을 재학습하며, 기반 모델이 강해지면 데이터 축적이 더 빨라지는 폐루프라고 말했다. 아키텍처에서 팀은 상하 두 층을 만든다. 임바디드의 일부 능력을 작은 VLM에 증류해 수십 B 파라미터까지 학습시키는데, 차오팅은 더 큰 모델과 효과가 거의 차이가 없다고 말한다. 이 작은 모델은 온디바이스 두뇌로서 사용자 지시 이해, 장기 작업 분해, 작업 실행 모니터링, 복구 행동 생성, 하위 도구와 모델 호출을 담당한다. 하위는 Zeva, Zeva-Ego 같은 월드 모델과 VLA이고, Zetta는 에이전트 또는 harness 쪽에 속한다. 그녀가 대형 모델로 직접 제어하는 것에 대한 판단은 지연이다. 모델이 결과를 돌려줄 때쯤 현장 상태가 이미 바뀌었을 수 있고, 대형 모델은 능력 상한을 추구하므로 사고 과정과 네트워크 전송 비용을 줄이기 어렵다는 것이다. 인터뷰는 또한 Skild의 보고 기준을 전하며, 미학습(unseen) 작업에서 ICL 단계 성공률이 60%대에 불과하다고 말한다.
개발자에게 미치는 영향
임바디드 모델과 데이터 파이프라인을 만드는 개발자에게 이 발언들의 가장 직접적인 영향은 데이터 쪽에 있다. 보도된 2단계 인과 추출은 라벨 없는 1인칭 영상을 행동 감독 신호로 바꾸므로, 예산의 무게가 라벨링에서 정제와 추출로 옮겨간다. 다만 '10분의 1만 남는다'는 것은 인터뷰 대상자의 경험치이지 보편 상수가 아니어서, ego 데이터 출처가 더 잡다하고 행동 밀도가 낮다면 보존율과 유효성을 직접 먼저 측정해야 한다. 이 단계를 검증하는 현실적인 방법은 잡다한 배경을 포함한 소규모 미학습 작업 세트를 고정하고, 추출기를 넣었을 때와 넣지 않았을 때의 단계 성공률, 그리고 첫 시도에서 성공까지 걸린 시도 횟수를 비교하는 것이다. 보도가 제시한 참조는 팀 자체 설명으로 한두 번이면 성공하고 비교 모델은 5~6번 필요하다는 수준이며, 이는 자체 보고 수치이므로 참고로만 써야 한다. 인터뷰가 전한 Skild 보고에 따르면 미학습 작업의 ICL 단계 성공률은 60%대이며, 이 수치는 제3자 보고의 전언이므로 기준선으로 삼으려면 원 보고서에서 확인해야 한다. 평가 기준은 장면에 따라 나눠야 한다. 보도는 ICL을 작업이 자주 바뀌고 일반화를 요구하는 쪽에, 후속 학습을 형태가 고정되고 99% 이상 정밀도와 낮은 지연을 요구하는 쪽에 둔다. 이는 같은 모델이라도 양쪽의 합격 기준이 다르다는 뜻이다. 전자는 미학습 작업 성공률과 시도 횟수를, 후자는 정밀도와 단계별 지연을 보며, 하나의 성적표로 서로를 반박할 수 없다. 지연이 계층 구조를 결정한다. 보도는 대형 모델이 작업을 이해하고 단계를 계획하며 도구를 호출할 수 있다고 해서 신뢰할 만한 물리적 실행 능력을 갖춘 것은 아니며, 온디바이스 지연과 네트워크 비용 모두 압축하기 어렵다고 분명히 말한다. 그래서 팀은 능력을 온디바이스 수십 B의 작은 VLM으로 증류해 두뇌로 삼고, 실시간 조작은 하위 월드 모델과 VLA에 맡긴다. 개발자에게 이것은 '계획을 클라우드에 둘지 로컬에 둘지'를 선호 문제에서 지연 예산 문제로 바꾼다. 제어 루프가 빠른 응답을 요구한다면 클라우드 대형 모델이 폐루프의 매 단계에 참여하는 것이 맞는지 먼저 엔드투엔드 지연으로 반증해 봐야 한다. 마지막은 데이터 환류가 가져오는 행동 표류다. 보도에 따르면 데이터는 전부 환류되고, 최근에는 자체 수집 데이터를 기반 모델에 다시 학습시킬 예정이다. 이런 폐루프가 가동되면 모델 행동은 배포 이후에도 계속 변한다. 이는 보도에 대한 추론이지 보도된 사실이 아니다. 버전 고정과 회귀 테스트가 없으면 코드를 바꾸지 않은 날에도 온라인 성능이 달라질 수 있으므로, 관측 기준과 롤백 수단을 미리 정해두는 편이 사후 원인 규명보다 수월하다.
연동 및 평가 제안
아래 세 가지는 보도에 기반한 권고와 조건 분석이며, 보도에 나온 사실이 아니고 팀의 방식이 당신의 장면에서 반드시 통한다는 뜻도 아니다. 결정 1: 온라인 컨텍스트 시연을 주 경로로 삼을지, 후속 학습을 주 경로로 삼을지. 보도가 전하는 변화는 업계가 오프라인 데이터 수집 공장에서 배포 후 온라인 인컨텍스트 학습으로 이동한다는 것이며, 차오팅은 오프라인 데이터를 아무리 많이 모아도 현실 세계의 모든 상황을 커버할 수 없다고 말한다. 선택해야 할 것은 온라인 시연과 컨텍스트 파이프라인을 먼저 루프에 넣을지, 아니면 소량 데이터 후속 학습을 한 차례 먼저 할지다. 발동 조건은 작업 변화 빈도, 현장에서 시연을 안정적으로 제공할 수 있는지, 정밀도 요구다. 작업이 매 교대마다 바뀌고 시행착오를 허용한다면 컨텍스트 파이프라인을 먼저 올리는 편이 이득이고, 작업 형태가 고정되어 99% 이상 정밀도와 낮은 지연을 요구한다면 보도의 주장처럼 수백 건의 데이터를 모아 후속 학습을 하는 것이 여전히 가장 경제적이고 신뢰할 만한 방법이다. 정량적 판단 기준은 자체 구축한 잡다한 배경 테스트 세트의 미학습 작업 단계 성공률과 첫 성공까지의 시도 횟수이며, 전언된 제3자 기준인 60%대를 목표가 아니라 하한 참조로 삼아야 한다. 결정 2: 행동-효과 추출과 데이터 정제 단계를 먼저 세울지. 보도가 전하는 변화는 2단계 인과 추출기로 라벨 없는 ego 데이터를 행동 감독 신호로 바꾸는 것이며, 팀은 라벨 없는 데이터 1만 시간을 사용했다. 선택해야 할 것은 추출기와 정제 파이프라인에 투자할지, 라벨링에 바로 투자할지다. 전제는 라벨 없는 1인칭 영상이 이미 많고, 정제 후 10분의 1 수준의 보존율을 감수할 수 있다는 것이다. 두 조건이 충족되지 않으면 경로의 전제가 성립하지 않으므로 수작업 라벨링을 하거나 행동 라벨이 있는 데이터로 바꾸는 편이 현실적이다. 정량적 판단 기준은 정제와 추출 후 사용 가능한 샘플 수, 하위 미학습 작업 성공률의 증가분, 그리고 잡다한 배경에서 추출을 하지 않은 기준선보다 성공률이 뚜렷이 높은지다. 결정 3: 보도의 분업대로 온디바이스 소형 모델을 상위 두뇌로 두고, 장기 이해를 클라우드 대형 모델에 맡기지 않기. 보도가 전하는 변화는 임바디드의 일부 능력을 수십 B의 작은 VLM으로 증류해 온디바이스 두뇌로 삼아 지시 이해, 장기 작업 분해, 실행 모니터링, 복구 행동 생성을 맡기고, 하위 월드 모델과 VLA가 실제 조작을 맡기며, 그 이유는 대형 모델의 사고 과정과 네트워크 전송 비용이 실시간 제어를 만족시키기 어렵기 때문이라는 것이다. 선택해야 할 것은 이 '온디바이스 두뇌 + 하위 실행 모델' 계층으로 설계할지, 계속 클라우드 대형 모델로 폐루프의 계획을 할지다. 발동 조건은 제어 루프의 지연 민감도와 현장 네트워크 조건이다. 빠른 응답이 필요한 조작 작업이 많을수록 온디바이스 두뇌가 수용 가능한 능력에 도달하는지 먼저 검증해야 한다. 작업 리듬이 느리고 재계획이 초 단위 왕복을 견딜 수 있다면 클라우드 방식을 반드시 바꿔야 하는 것은 아니다. 정량적 판단 기준은 같은 제어 루프의 엔드투엔드 지연(특히 높은 백분위 지연)과, 실행 실패 후 두뇌가 복구 행동을 생성해 작업을 계속 진행시키는 복구 성공률이다. 덧붙이면 '수십 B 소형 모델의 효과가 더 큰 모델과 거의 차이가 없다'는 인터뷰 대상자의 자체 발언이므로, 자신의 작업 세트에서 비교한 뒤 받아들이는 것이 좋다.
제한과 확인할 사항
이 보도는 인터뷰 정리 기사로, 인용된 성과는 거의 모두 팀의 표현이거나 2차 전언이다. 공개 평가 세트에서 '효과가 더 좋다', '한두 번이면 집어 올릴 수 있다', 작은 VLM을 수십 B로 학습시키면 '효과가 거의 차이가 없다'는 모두 평가 세트 이름, 기준선 목록, 재현 스크립트를 제시하지 않았다. Skild의 60%대는 인터뷰 대상자를 거친 전언이므로 전언 기준에 속한다. 세 가지 ICL 경로는 인터뷰 대상자의 구분이지 업계 통일된 평가 프레임워크가 아니다. 정제 후 10분의 1만 남는다는 것은 자체 보고 경험치이며 구체적 규칙과 데이터 구성은 공개되지 않았다. 인터뷰에는 연구자 이력, 학과 자원, 다른 회사의 자금 조달, 팀이 약 20명이고 박사과정 학생이 주축이라는 등 모델 능력과 무관한 사람과 산업 관련 내용도 많아 선택 근거로 쓸 수 없다. 가용성 측면에서 보도는 논문과 방법만 다루며 Z0, Zeva, Zeva-Ego, Zetta, Z-infra가 오픈 웨이트인지 어떤 라이선스를 쓰는지 설명하지 않고, 호출 가능한 인터페이스, 입출력 형식, 최소 배포 하드웨어도 제시하지 않는다. 오픈 웨이트와 오픈소스 라이선스는 다른 문제이므로 따로 확인해야 한다. 분명히 해둘 것은 이 버전들이 현재 KimiSeek 모델 목록에 하나도 올라 있지 않고, 이번 보도도 API 출시 정보를 언급하지 않았다는 점이다. 이후 관련 인터페이스가 나오면 그 가용성과 약관은 제조사 측 사항이며 제조사 공지가 기준이다. 차오팅이 언급한 '최근 발표' 새 작업은 이 원고 작성 시점에 아직 공개되지 않아 능력과 개방 범위를 검증할 수 없다.
원문 보도의 이미지











