← Toutes les actualités

Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement

Le 12 novembre 2026, Leiphone a publié un entretien avec Cao Ting, professeure à l'Institute for AI Industry Research de l'Université Tsinghua et cofondatrice et directrice technique de 域变换. Elle y décrit trois voies pour l'apprentissage en contexte incarné ; son équipe suit l'ICCL (apprentissage causal en contexte) et utilise un extracteur action-effet entraîné en deux étapes pour convertir des données ego non annotées en signaux de supervision d'action. Elle affirme que les scénarios domestiques reposent sur la généralisation par ICL, tandis que les lignes de production en usine restent tributaires d'un post-entraînement sur petits jeux de données pour préserver la précision. Le reportage ne mentionne ni poids ouverts, ni licence, ni API.

Publication Mise à jour
Image de couverture de l’article original — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Image de couverture de l’article originalArticle original ↗

Ce qui change

Le reportage indique en ouverture qu'au début de l'automne de cette année, des travaux tels que Skild S1, Generalist GEN-1.5 et RoboTTT sont apparus en nombre, introduisant l'apprentissage en contexte dans le domaine incarné. Selon l'entretien, l'ICL incarné comporte actuellement trois voies : la première consiste à espérer une émergence en ligne des capacités comme pour les modèles de langue, le reportage citant Generalist en exemple ; la deuxième est un entraînement explicite, où le modèle prédit directement l'action suivante à partir d'une invite vidéo, le reportage citant Skild ; la troisième est l'ICCL (apprentissage causal en contexte) proposée par l'équipe de Cao Ting. Le point de départ de l'ICCL est que les vidéos contiennent des personnes en mouvement, des objets sans rapport et des reflets, ce qui rend difficile l'extraction d'informations sur l'action ; l'équipe ajoute donc un module d'extraction action-effet qui ne place dans le contexte que l'action et les effets qu'elle produit. Selon l'entretien, le premier Zeva de l'équipe est parti de Cosmos, mais la méthode ne dépend pas du modèle de base : World Model comme VLA conviennent ; le Zeva-Ego suivant, fondé sur un VLA, a utilisé des données à la première personne (ego) pour un entraînement intermédiaire. L'extracteur causal s'entraîne en deux étapes : la première fait apprendre à un réseau dédié les variations d'environnement sans lien avec l'action ; la seconde, s'appuyant sur la représentation d'environnement issue de la première étape, extrait uniquement les informations liées à l'action, puis convertit les données ego sans annotation d'action en signaux de supervision. Le volume donné par le reportage est de 10 000 heures de données ego non annotées ; les données ouvertes doivent être nettoyées et, après nettoyage, il n'en reste qu'environ un dixième. Sur la chronologie, le reportage indique que Z0 est sorti en juin, que Zetta, qui joue le rôle de harness, est sorti le 18 août, que Zeva est sorti le 1er septembre en même temps que Skild, Generalist et d'autres, et que Zeva-Ego est apparu en un mois ; un nouveau travail, qui réinjecte les données collectées par les robots pour réentraîner le modèle de base, doit paraître prochainement. Elle décrit aussi une mémoire à deux niveaux : une mémoire de travail (working memory) pour la tâche en cours, et une mémoire à long terme, inter-tâches, consultable et réutilisable ; et elle présente sa définition de PSI (auto-évolution du monde physique) comme une boucle fermée — l'apprentissage en ligne accumule des données de succès et d'échec, ces données sont réinjectées pour réentraîner le modèle, et un modèle de base plus fort accumule des données plus vite. Sur l'architecture, l'équipe travaille sur deux niveaux : distiller une partie des capacités incarnées dans un petit VLM, entraîné jusqu'à plusieurs dizaines de milliards de paramètres, dont Cao Ting affirme que les résultats ne sont pratiquement pas différents de ceux d'un modèle plus grand ; ce petit modèle sert de cerveau embarqué et se charge de comprendre les instructions de l'utilisateur, de décomposer les tâches longues, de surveiller leur exécution, de générer des actions de reprise et d'appeler les outils et modèles de la couche inférieure ; la couche inférieure réunit des modèles du monde et des VLA comme Zeva et Zeva-Ego, Zetta relevant du côté agent ou harness. Son jugement sur le pilotage direct par un grand modèle tient à la latence : le temps que le modèle renvoie son résultat, l'état sur site peut avoir changé ; de plus, les grands modèles visent le plafond de capacité, et les coûts du processus de réflexion comme de la transmission réseau sont difficiles à réduire. L'entretien rapporte également le chiffre de Skild, selon lequel le taux de réussite par étape de l'ICL sur des tâches inédites n'est que d'un peu plus de 60 %.

Conséquences pour les développeurs

Pour les développeurs qui travaillent sur des modèles incarnés et des pipelines de données, l'effet le plus direct de ces propos se situe du côté des données. L'extraction causale en deux étapes décrite dans le reportage transforme des vidéos ego non annotées en signaux de supervision d'action, déplaçant le centre de gravité budgétaire de l'annotation vers le nettoyage et l'extraction ; mais le « un dixième conservé » est une valeur d'expérience de la personne interrogée, pas une constante universelle : si vos sources de données ego sont plus hétérogènes et la densité d'actions plus faible, le taux de conservation et l'efficacité doivent être mesurés par vous-même. Une façon praticable de vérifier cette étape est de figer un petit ensemble de tâches inédites avec arrière-plans encombrés, puis de comparer le taux de réussite par étape avec et sans extracteur, ainsi que le nombre de tentatives entre le premier essai et le succès ; la référence donnée par le reportage est l'affirmation de l'équipe qu'une ou deux tentatives suffisent, contre cinq ou six pour les modèles comparés, ce qui relève d'un ordre de grandeur auto-déclaré et ne peut servir que d'indication. Selon le chiffre de Skild rapporté dans l'entretien, le taux de réussite par étape de l'ICL sur des tâches inédites n'est que d'un peu plus de 60 % ; ce nombre est la reprise d'un rapport tiers et, s'il doit servir de seuil, il faut revenir au rapport d'origine pour le vérifier. Les critères d'évaluation doivent être séparés selon les scénarios. Le reportage place l'ICL du côté des tâches qui changent fréquemment et exigent de la généralisation, et le post-entraînement du côté des configurations fixes exigeant plus de 99 % de précision et une faible latence ; autrement dit, les mêmes modèles ne sont pas jugés selon les mêmes critères des deux côtés : le premier se mesure au taux de réussite sur tâches inédites et au nombre de tentatives, le second à la précision et à la latence par étape, et l'on ne peut pas opposer l'un à l'autre avec un même bulletin de notes. La latence détermine la structure en couches. Le reportage dit clairement qu'un grand modèle capable de comprendre une tâche, de planifier des étapes et d'appeler des outils n'équivaut pas à une capacité d'exécution physique fiable, et que la latence côté embarqué comme les coûts réseau sont difficiles à compresser ; l'équipe distille donc des capacités vers un petit VLM embarqué de plusieurs dizaines de milliards de paramètres, qui sert de cerveau, les opérations en temps réel étant confiées aux modèles du monde et aux VLA de la couche inférieure. Pour un développeur, cela transforme la question « planification dans le cloud ou en local » en un problème de budget de latence : si la boucle de contrôle exige une réponse rapide, la participation d'un grand modèle cloud à chaque étape de la boucle mérite d'être réfutée une fois par une mesure de latence de bout en bout. Dernier point : la dérive de comportement induite par la réinjection des données. Le reportage indique que toutes les données seront réinjectées et qu'un travail prochain réentraînera le modèle de base avec les données auto-collectées ; une telle boucle fermée, une fois en production, fait évoluer le comportement du modèle au fil du déploiement. Il s'agit d'une inférence à partir du reportage, et non d'un fait rapporté : sans version figée ni tests de non-régression, les performances en ligne peuvent changer des jours où vous n'avez pas touché au code ; définir à l'avance les indicateurs d'observation et les moyens de retour arrière évite d'avoir à chercher la cause après coup.

Intégration et évaluation

Les trois points ci-dessous sont des recommandations et des analyses conditionnelles fondées sur le reportage, non des faits qui y figurent, et rien ne garantit que la pratique de l'équipe s'applique à votre contexte. Décision un : faire de la démonstration en contexte en ligne ou du post-entraînement la voie principale. Le changement décrit par le reportage est le passage de l'industrie d'une usine à collecte hors ligne à l'apprentissage en contexte en ligne après déploiement ; Cao Ting affirme que les données hors ligne, même abondantes, ne couvrent pas toutes les situations du monde réel. Le choix à faire est d'intégrer d'abord la démonstration en ligne et le pipeline de contexte dans la boucle, ou de réaliser d'abord une passe de post-entraînement sur un petit jeu de données. Les déclencheurs sont la fréquence de changement des tâches, la capacité du site à fournir des démonstrations stables et le niveau de précision exigé : si les tâches changent à chaque poste et que l'erreur est tolérée, commencer par le pipeline de contexte est plus rentable ; si la configuration des tâches est fixe et exige plus de 99 % de précision avec une faible latence, le reportage indique que collecter d'abord quelques centaines d'échantillons pour un post-entraînement reste la méthode la plus économique et la plus fiable. Le critère quantifiable est le taux de réussite par étape sur tâches inédites et le nombre de tentatives nécessaires au premier succès, sur votre propre jeu de test à arrière-plans encombrés, en prenant le « un peu plus de 60 % » repris d'un tiers comme référence plancher et non comme objectif. Décision deux : faut-il construire d'abord l'extraction action-effet et le nettoyage des données. Le changement décrit est l'usage d'un extracteur causal en deux étapes pour convertir des données ego non annotées en signaux de supervision d'action, l'équipe ayant utilisé 10 000 heures de données non annotées. Le choix à faire est d'investir dans l'extracteur et le pipeline de nettoyage, ou d'investir directement dans l'annotation. La condition préalable est de disposer déjà de nombreuses vidéos ego non annotées et d'accepter un taux de conservation de l'ordre d'un dixième après nettoyage ; si ces deux conditions ne sont pas réunies, la prémisse de cette voie ne tient pas et il est plus réaliste de commencer par de l'annotation manuelle ou de passer à des données annotées en action. Les critères quantifiables sont le nombre d'échantillons exploitables après nettoyage et extraction, le gain de taux de réussite sur tâches inédites en aval, et le point de savoir si le taux de réussite en arrière-plan encombré dépasse nettement la référence sans extraction. Décision trois : selon la répartition décrite, faire d'un petit modèle embarqué le cerveau de la couche supérieure plutôt que de placer la compréhension longue portée dans un grand modèle cloud. Le changement décrit est la distillation d'une partie des capacités incarnées vers un petit VLM de plusieurs dizaines de milliards de paramètres servant de cerveau embarqué, chargé de comprendre les instructions, de décomposer les tâches longues, de surveiller l'exécution et de générer des actions de reprise, la couche inférieure de modèles du monde et de VLA assurant les opérations réelles, la raison étant que le processus de réflexion des grands modèles et les coûts de transmission réseau satisfont difficilement le contrôle en temps réel. Le choix à faire est de concevoir selon cette stratification « cerveau embarqué plus modèles d'exécution en dessous », ou de continuer à utiliser un grand modèle cloud pour la planification dans la boucle. Les déclencheurs sont la sensibilité de la boucle de contrôle à la latence et les conditions réseau sur site : plus les tâches opérationnelles à réponse rapide sont lourdes, plus il faut vérifier d'abord si le cerveau embarqué atteint un niveau de capacité acceptable ; si le rythme des tâches est lent et qu'une replanification tolère un aller-retour de l'ordre de la seconde, la solution cloud n'a pas forcément à être remplacée. Les critères quantifiables sont la latence de bout en bout de la même boucle de contrôle (en particulier aux percentiles élevés) et le taux de réussite des reprises où le cerveau génère une action de récupération et fait repartir la tâche après un échec. À préciser : « un petit modèle de plusieurs dizaines de milliards de paramètres donne des résultats pratiquement identiques à un modèle plus grand » est une affirmation de la personne interrogée, qu'il convient d'adopter après comparaison sur vos propres jeux de tâches.

Limites et points à confirmer

Ce reportage est la transcription d'un entretien, et les résultats cités sont presque tous des chiffres de l'équipe ou des reprises de seconde main : « de meilleurs résultats » sur des jeux d'évaluation publics, « on le prend en main en une ou deux tentatives », le petit VLM entraîné jusqu'à plusieurs dizaines de milliards de paramètres dont les « résultats sont pratiquement identiques » — rien de tout cela ne s'accompagne du nom des jeux d'évaluation, d'une liste de références ou d'un script de reproduction ; le « plus de 60 % » de Skild est rapporté par la personne interrogée et relève donc d'une reprise indirecte. Les trois voies de l'ICL sont une classification de la personne interrogée, non un cadre d'évaluation unanimement admis dans le secteur. Le « un dixième conservé après nettoyage » est une valeur d'expérience auto-déclarée, dont les règles précises et la composition des données ne sont pas publiées. L'entretien contient aussi beaucoup d'éléments sur les personnes et l'industrie, par exemple le parcours de la chercheuse, les ressources de son institut, le financement d'autres entreprises, ou encore l'équipe d'environ 20 personnes composée surtout de doctorants ; ces éléments n'ont pas de lien avec les capacités des modèles et ne peuvent pas servir de base à un choix. Sur la disponibilité, le reportage ne parle que d'articles et de méthodes : il n'indique pas si Z0, Zeva, Zeva-Ego, Zetta ou Z-infra sont à poids ouverts, ni sous quelle licence, et ne donne ni interface appelable, ni format d'entrée-sortie, ni matériel de déploiement minimal ; poids ouverts et licence open source sont deux choses distinctes, à vérifier séparément. Il faut préciser que ces versions ne sont actuellement pas listées dans le catalogue de modèles de KimiSeek, et que ce reportage ne mentionne aucune mise en ligne d'API ; si des interfaces apparaissaient par la suite, leur disponibilité et leurs conditions relèveraient du fournisseur, et c'est l'annonce du fournisseur qui ferait foi. Le nouveau travail évoqué par Cao Ting comme à paraître prochainement n'était pas encore publié au moment de la rédaction de cet article, et ses capacités comme son degré d'ouverture ne peuvent être vérifiés.

Illustrations de l’article original

Illustration de l’article original 1 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 1Article original ↗
Illustration de l’article original 2 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 2Article original ↗
Illustration de l’article original 3 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 3Article original ↗
Illustration de l’article original 4 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 4Article original ↗
Illustration de l’article original 5 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 5Article original ↗
Illustration de l’article original 6 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 6Article original ↗
Illustration de l’article original 7 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 7Article original ↗
Illustration de l’article original 8 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 8Article original ↗
Illustration de l’article original 9 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 9Article original ↗
Illustration de l’article original 10 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 10Article original ↗
Illustration de l’article original 11 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 11Article original ↗
Illustration de l’article original 12 — Cao Ting (AIR, Tsinghua) sur l'ICL incarné : extraction causale ICCL, cerveau embarqué et limites du post-entraînement
Illustration de l’article original 12Article original ↗

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

清华曹婷:具身今年才追自进化,我们已在这条路上走很远了 | 世界模型 50 人

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.