Tsinghua AIR: Cao Ting über embodied ICL – ICCL-Kausalextraktion, Edge-Gehirn und die Grenzen des Posttrainings
Am 12. November 2026 veröffentlichte Leiphone ein Interview mit Cao Ting, Professorin am Institute for AI Industry Research (AIR) der Tsinghua-Universität sowie Mitgründerin und CTO des Unternehmens Yubianhuan. Sie sagt, embodied In-Context-Learning habe drei Wege; ihr Team verfolge ICCL (In-Context Causal Learning) und nutze einen zweistufig trainierten Aktions-Effekt-Extraktor, um unannotierte Ego-Daten aus der Ich-Perspektive in Aktionsüberwachungssignale umzuwandeln. Haushaltszenarien setzten auf ICL-Generalisierung, Fabriklinien weiterhin auf Posttraining mit kleinen Datenmengen für Präzision. Der Bericht nennt keine offenen Gewichte, Lizenzen oder APIs.

Was sich geändert hat
Der Bericht schreibt einleitend, im frühen Herbst dieses Jahres seien Arbeiten wie Skild S1, Generalist GEN-1.5 und RoboTTT gehäuft erschienen und hätten In-Context-Learning in den embodied Bereich gebracht. Dem Interview zufolge gibt es dort derzeit drei Wege für ICL: Erstens die Hoffnung, dass Fähigkeiten wie bei Sprachmodellen online emergieren; der Bericht nennt Generalist als Beispiel. Zweitens explizites Training, bei dem das Modell aus einer Videovorgabe direkt die nächste Aktion vorhersagt; der Bericht nennt Skild als Beispiel. Drittens ICCL (In-Context Causal Learning) von Cao Tings Team. Ausgangspunkt für ICCL sei, dass Videos sich bewegende Menschen, irrelevante Objekte und Reflexionen enthielten und das Modell daraus nur schwer Aktionsinformationen herausfiltern könne; deshalb ergänze man ein Aktions-Effekt-Extraktionsmodul, das nur die Aktion und ihre Wirkung in den Kontext aufnehme. Dem Interview zufolge startete das früheste Zeva des Teams auf Basis von Cosmos, die Methode sei aber nicht auf ein Basismodell festgelegt; sowohl World Model als auch VLA ließen sich verwenden. Das spätere Zeva-Ego basiere auf VLA und nutze Daten aus der Ich-Perspektive (Ego-Daten) für ein Midtraining. Der kausale Extraktor werde zweistufig trainiert: In der ersten Stufe lerne ein spezielles Netzwerk aktionsunabhängige Umgebungsveränderungen; in der zweiten Stufe extrahiere es unter Rückgriff auf die Umgebungsrepräsentation der ersten Stufe nur aktionsrelevante Informationen und wandle Ego-Daten ohne Aktionsannotation in Überwachungssignale um. Der Bericht nennt als Umfang 10.000 Stunden unannotierte Ego-Daten; Open-Source-Daten müssten bereinigt werden, nach der Bereinigung blieben rund ein Zehntel übrig. Zur Zeitlinie heißt es im Bericht, Z0 sei im Juni veröffentlicht worden, Zetta in der Harness-Rolle am 18. August, Zeva am 1. September zeitgleich mit Skild, Generalist und anderen, Zeva-Ego innerhalb eines Monats; außerdem solle demnächst eine neue Arbeit erscheinen, die selbst gesammelte Roboterdaten zurückführe, um das Basismodell nachzutrainieren. Sie beschreibt zudem das Gedächtnis in zwei Ebenen: ein Working Memory für die aktuelle Aufgabe und ein abrufbares, wiederverwendbares langfristiges Gedächtnis über Aufgaben hinweg. Ihr definiertes PSI (Selbstevolution der physischen Welt) sei ein geschlossener Kreislauf – Online-Lernen sammle Erfolgs- und Misserfolgsdaten, die Daten flössen zurück und trainierten das Modell neu, und ein stärkeres Basismodell sammle schneller Daten. Architektonisch arbeite das Team mit zwei Ebenen: Ein Teil der embodied Fähigkeiten werde in ein kleines VLM destilliert und auf einige Dutzend Milliarden Parameter trainiert; Cao Ting zufolge unterscheide sich die Leistung kaum von größeren Modellen. Dieses kleine Modell diene als Edge-Gehirn, verstehe Nutzeranweisungen, zerlege langfristige Aufgaben, überwache die Ausführung, erzeuge Wiederherstellungsaktionen und rufe untergeordnete Werkzeuge und Modelle auf; die untere Ebene bildeten Weltmodelle und VLAs wie Zeva und Zeva-Ego, während Zetta auf der Agenten- oder Harness-Seite stehe. Ihre Einschätzung, dass große Modelle nicht direkt steuern sollten, begründet sie mit Latenz: Wenn das Modell ein Ergebnis zurückliefere, könne sich der Zustand vor Ort bereits geändert haben; außerdem strebten große Modelle nach der Leistungsobergrenze, und Denkprozess sowie Netzwerkübertragung seien schwer zu reduzieren. Das Interview gibt zudem Skilds Berichtsmaßstab wieder: Bei ungesehenen Aufgaben liege die ICL-Schritt-Erfolgsrate nur bei etwas über 60 %.
Auswirkungen für Entwickler
Für Entwickler von embodied Modellen und Datenpipelines wirken sich diese Aussagen am direktesten auf der Datenseite aus. Die im Bericht beschriebene zweistufige Kausalextraktion verwandelt unannotierte Videos aus der Ich-Perspektive in Aktionsüberwachungssignale, wodurch sich der Budgetschwerpunkt von Annotation zu Bereinigung und Extraktion verschiebt. Dass „nur ein Zehntel übrig bleibt“, ist jedoch ein Erfahrungswert der Interviewten und keine allgemeingültige Konstante; wenn Ihre Ego-Daten aus heterogeneren Quellen stammen und eine geringere Aktionsdichte haben, müssen Sie die Retentionsrate und Wirksamkeit selbst zuerst messen. Ein praktikabler Weg, diesen Schritt zu prüfen, ist ein festes, kleines Set ungesehener Aufgaben mit unruhigem Hintergrund, auf dem Sie die Schritt-Erfolgsrate mit und ohne Extraktor sowie die Zahl der Versuche vom ersten Versuch bis zum Erfolg vergleichen. Die im Bericht genannte Referenz ist die Selbstdarstellung des Teams, dass ein bis zwei Versuche genügten, während Vergleichsmodelle fünf bis sechs bräuchten; das ist eine selbst berichtete Größenordnung und taugt nur als Anhaltspunkt. Dem im Interview wiedergegebenen Skild-Bericht zufolge liegt die ICL-Schritt-Erfolgsrate bei ungesehenen Aufgaben nur bei etwas über 60 %; diese Zahl ist die Wiedergabe eines Berichts Dritter, und wer sie als Schwelle nutzen will, sollte im Originalbericht nachprüfen. Die Bewertungsmaßstäbe müssen nach Szenario getrennt werden. Der Bericht verortet ICL auf der Seite häufig wechselnder Aufgaben, die Generalisierung verlangen, und Posttraining auf der Seite fester Formen, die über 99 % Präzision und niedrige Latenz verlangen. Das bedeutet, dass dasselbe Modell auf beiden Seiten unterschiedliche Abnahmekriterien hat: Dort zählen Erfolgsrate und Versuchszahl bei ungesehenen Aufgaben, hier Präzision und Latenz pro Schritt; man kann die eine Seite nicht mit dem Zeugnis der anderen widerlegen. Die Latenz bestimmt die Schichtenarchitektur. Der Bericht sagt ausdrücklich, dass ein großes Modell Aufgaben verstehen, Schritte planen und Werkzeuge aufrufen kann, aber deshalb noch keine zuverlässige physische Ausführung besitzt und dass Edge-Latenz und Netzwerkkosten schwer zu komprimieren sind. Das Team destilliert Fähigkeiten daher in ein kleines VLM mit einigen Dutzend Milliarden Parametern auf der Edge-Seite, lässt es als Gehirn fungieren und überträgt Echtzeitoperationen an Weltmodelle und VLAs der unteren Ebene. Für Entwickler wird damit die Frage „Planung in die Cloud oder lokal?“ von einer Vorliebe zu einer Latenzbudgetfrage: Wenn die Steuerschleife schnelle Reaktionen verlangt, sollte der Beitrag eines großen Cloud-Modells zu jedem Schritt im Regelkreis zuerst mit Ende-zu-Ende-Latenz widerlegt werden. Der letzte Punkt ist Verhaltensdrift durch Datenrückfluss. Der Bericht sagt, alle Daten flössen zurück, und demnächst würden selbst gesammelte Daten zum Nachtraining des Basismodells genutzt; sobald ein solcher Kreislauf live ist, ändert sich das Modellverhalten mit dem Deployment weiter. Das ist eine Ableitung aus dem Bericht, kein berichteter Fakt: Ohne Versionsfixierung und Regressionstests kann sich die Online-Leistung an Tagen ändern, an denen Sie keinen Code geändert haben; Beobachtungsmaßstäbe und Rollback-Mittel vorab festzulegen ist bequemer als nachträgliche Ursachenforschung.
Integration und Bewertung
Die folgenden drei Punkte sind Empfehlungen und Bedingungsanalysen auf Grundlage des Berichts, keine im Bericht enthaltenen Fakten, und sie bedeuten nicht, dass die Vorgehensweise des Teams in Ihrem Szenario unbedingt funktioniert. Entscheidung eins: Online-Kontextdemonstrationen oder Posttraining als Hauptpfad. Die im Bericht beschriebene Verschiebung ist, dass die Branche von der Offline-Datensammelfabrik zum In-Context-Learning nach dem Deployment übergeht; Cao Ting sagt, noch so viele offline gesammelte Daten deckten nicht alle Fälle der realen Welt ab. Zu wählen ist, ob Sie zuerst Online-Demonstrationen und die Kontextpipeline in die Schleife einbinden oder zuerst eine Runde Posttraining mit kleinen Daten durchführen. Auslöser sind die Häufigkeit von Aufgabenänderungen, ob der Einsatzort stabil Demonstrationen liefern kann und die Präzisionsanforderung: Wenn Aufgaben in jeder Schicht wechseln und Fehlversuche erlaubt sind, ist die Kontextpipeline zuerst wirtschaftlicher; bei fester Aufgabenform und Anforderungen von über 99 % Präzision sowie niedriger Latenz bleibt laut Bericht das Sammeln einiger hundert Daten für Posttraining die wirtschaftlichste und zuverlässigste Methode. Messbare Kriterien sind die Schritt-Erfolgsrate bei ungesehenen Aufgaben auf einem selbst erstellten Testset mit unruhigem Hintergrund und die Zahl der Versuche bis zum ersten Erfolg; die wiedergegebene Drittanbieterangabe von etwas über 60 % sollten Sie dabei als untere Referenz und nicht als Ziel behandeln. Entscheidung zwei: Sollten Sie zuerst eine Aktions-Effekt-Extraktion und Datenbereinigung aufbauen? Die im Bericht beschriebene Verschiebung ist, dass ein zweistufiger kausaler Extraktor unannotierte Ego-Daten in Aktionsüberwachungssignale umwandelt; das Team nutzte 10.000 Stunden unannotierte Daten. Zu wählen ist, ob Sie in Extraktor und Bereinigungspipeline oder direkt in Annotation investieren. Voraussetzung ist, dass Sie bereits viele unannotierte Videos aus der Ich-Perspektive haben und akzeptieren können, dass nach der Bereinigung nur etwa ein Zehntel übrig bleibt; sind diese beiden Bedingungen nicht erfüllt, ist die Voraussetzung des Pfads nicht gegeben, und manuelle Annotation oder Daten mit Aktionsannotation sind praktischer. Messbare Kriterien sind die Zahl nutzbarer Stichproben nach Bereinigung und Extraktion, der Zuwachs der Erfolgsrate bei nachgelagerten ungesehenen Aufgaben und ob die Erfolgsrate unter unruhigem Hintergrund deutlich über einer Baseline ohne Extraktion liegt. Entscheidung drei: Nach der im Bericht beschriebenen Arbeitsteilung ein kleines Edge-Modell als obere Gehirnebene einsetzen, statt langfristiges Verständnis in ein großes Cloud-Modell zu legen. Die im Bericht beschriebene Verschiebung ist, einen Teil der embodied Fähigkeiten in ein kleines VLM mit einigen Dutzend Milliarden Parametern als Edge-Gehirn zu destillieren, das Anweisungen versteht, langfristige Aufgaben zerlegt, die Ausführung überwacht und Wiederherstellungsaktionen erzeugt, während Weltmodelle und VLAs der unteren Ebene die eigentliche Ausführung übernehmen; Begründung ist, dass Denkprozess und Netzwerkübertragung großer Modelle den Anforderungen der Echtzeitsteuerung schwer genügen. Zu wählen ist, ob Sie nach dieser Schichtung „Edge-Gehirn plus untere Ausführungsmodelle“ entwerfen oder weiterhin ein großes Cloud-Modell für die Planung im Regelkreis nutzen. Auslöser sind die Latenzempfindlichkeit der Steuerschleife und die Netzwerkbedingungen vor Ort: Je schwerer die schnell reagierenden Bedienaufgaben, desto eher sollte geprüft werden, ob das Edge-Gehirn eine akzeptable Leistung erreicht; bei langsamem Aufgabentakt und Neuplanung, die Sekunden-Roundtrips toleriert, muss die Cloud-Lösung nicht unbedingt ersetzt werden. Messbare Kriterien sind die Ende-zu-Ende-Latenz derselben Steuerschleife (insbesondere hohe Perzentilwerte) sowie die Wiederherstellungserfolgsrate, mit der das Gehirn nach einem Ausführungsfehler Wiederherstellungsaktionen erzeugt und die Aufgabe weiterlaufen lässt. Ergänzend ist zu sagen: „Die Leistung des kleinen Modells mit einigen Dutzend Milliarden Parametern unterscheidet sich kaum von größeren Modellen“ ist eine Selbstdarstellung der Interviewten und sollte erst nach einem Vergleich auf Ihrem eigenen Aufgabenset übernommen werden.
Grenzen und offene Fragen
Dieser Bericht ist eine Interviewaufbereitung, und die zitierten Ergebnisse stammen fast alle aus Teambeschreibungen oder aus zweiter Hand: Für „bessere Leistung“ auf öffentlichen Benchmark-Sets, „ein bis zwei Versuche genügen zum Aufnehmen“ und das Training eines kleinen VLM auf einige Dutzend Milliarden Parameter mit „kaum unterscheidbarer Leistung“ werden weder Namen der Evaluationssets noch Baseline-Listen oder Reproduktionsskripte genannt; die etwas über 60 % von Skild werden von der interviewten Person wiedergegeben und gehören zur Kategorie der Weitergabe. Die drei ICL-Wege sind die Einteilung der Interviewten, kein branchenweit einheitliches Evaluationsframework. Dass nach der Bereinigung nur ein Zehntel übrig bleibt, ist ein selbst berichteter Erfahrungswert; genaue Regeln und Datenzusammensetzung wurden nicht offengelegt. Das Interview enthält zudem viel Personen- und Industrieinhalt, etwa Lebensläufe von Forschenden, Ressourcen von Fakultäten, Finanzierungen anderer Unternehmen sowie ein Team von rund 20 Personen mit überwiegend Doktoranden; all das hat nichts mit Modellfähigkeiten zu tun und taugt nicht als Auswahlgrundlage. Zur Verfügbarkeit: Der Bericht spricht nur über Paper und Methoden und sagt nicht, ob Z0, Zeva, Zeva-Ego, Zetta oder Z-infra offene Gewichte haben oder welcher Lizenz sie unterliegen; auch aufrufbare Schnittstellen, Ein- und Ausgabeformate oder minimale Deployment-Hardware werden nicht genannt. Offene Gewichte und Open-Source-Lizenz sind zwei verschiedene Dinge und müssen getrennt geprüft werden. Klarzustellen ist, dass diese Versionen derzeit nicht im Modellkatalog von KimiSeek aufgeführt sind und der Bericht auch keine API-Inbetriebnahme nennt; sollten später entsprechende Schnittstellen erscheinen, liegen Verfügbarkeit und Bedingungen beim Anbieter, und es gilt dessen Ankündigung. Die von Cao Ting erwähnte „demnächst erscheinende“ neue Arbeit war zum Zeitpunkt dieses Textes noch nicht veröffentlicht; Fähigkeiten und Offenlegungsumfang lassen sich nicht verifizieren.
Abbildungen aus dem Originalbericht











