Sieben Hochschulen veröffentlichen OpenWAM: Full-Stack-Framework für World-Action-Modelle und Basismodell-Gewichte als Open Source
Laut Machine Heart hat ein Team aus sieben Hochschulen, darunter die National University of Singapore, die Tsinghua-Universität und die Peking-Universität, OpenWAM als Open Source veröffentlicht: eine modulare Infrastruktur OpenWAM-Infra, eine kontrollierte Experimentalstudie OpenWAM-Study und ein Basismodell OpenWAM-α, mit acht Simulations-Benchmarks, drei realen Roboterplattformen sowie vortrainierten Gewichten und Datenrezept.
Was sich geändert hat
Laut Machine Heart hat ein Forschungsteam von sieben Hochschulen, darunter die National University of Singapore, die Tsinghua-Universität und die Peking-Universität, OpenWAM als Open Source veröffentlicht – positioniert als Full-Stack-Forschungsframework und Basismodell für World-Action-Modelle (WAM). Das Projekt gliedert sich in drei Ebenen: OpenWAM-Infra bietet kombinierbare Modelle (Vision-Encoder, Datenfluss-Backbone und Visibility-Attention-Masken sind unabhängig austauschbar; Ein-, Zwei- und Dreisystem-Architekturen werden unterstützt), eine einheitliche Trainingslaufzeit (Pretraining, Finetuning, Fortsetzen nach Unterbrechung; Checkpoints speichern die vollständige Konfiguration und Aktionsnormalisierungsstatistiken), eine Deployment-Laufzeit (derselbe Policy-Server trägt verschiedene Modelle, unterstützt synchrone/asynchrone Inferenz und mehrere Denoising-Schedules) sowie ein Evaluationsprotokoll (acht Simulations-Benchmarks: LIBERO, LIBERO-Plus, VLABench, RoboTwin2.0, RoboDojo, RoboCasa365, EBench, RoboCasa-GR1). OpenWAM-Study führt unter festem Budget kontrollierte Experimente durch und berichtet Backbone-Kapazitätsvergleiche (Wan2.1-VACE-1.3B 90,14 %, Cosmos-Predict2.5-2B 91,64 %, Wan2.2-TI2V-5B 92,39 %, Wan2.1-I2V-14B 93,79 %), Informationsfluss-Ablationen (Aktionsstrom sieht Weltstrom einseitig 92,39 %, bidirektionale gegenseitige Sicht 92,15 %) und Ergebnisse zu domänenübergreifendem embodied Pretraining (OOD-Erfolgsrate von Null 14,50 %, Ko-Training 26,62 %). OpenWAM-α nutzt Wan2.2-VAE als eingefrorenen Vision-Encoder, Wan2.2-TI2V-5B als Video-Backbone und einen 1B-Parameter-ActionDiT für den Aktionsstrom, mit einem 80-dimensionalen einheitlichen Aktionsraum; das Pretraining umfasst rund 518,5 Millionen Frames bzw. etwa 6.369 Stunden. Die Arbeit berichtet, dass es bei EBench bei SR und Score den Zweitplatzierten um etwa 4 Prozentpunkte übertrifft, bei sechs Aufgaben eines einarmigen realen Roboters eine durchschnittliche Erfolgsrate von 82,5 % erreicht und Ergebnisse nach Finetuning auf einer ungesehenen dexterous-hand-Morphologie vorweist.
Auswirkungen für Entwickler
Für Entwickler im Bereich Roboterlernen liegen die Auswirkungen vor allem in drei Punkten, die alle auf den Quellenangaben beruhende Schlussfolgerungen sind, nicht auf verifizierten Fakten. Erstens bildet der Ansatz aus einheitlichem Aktionsraum plus Validitätsmaske Gelenk- bzw. Endeffektoraktionen verschiedener Plattformen auf feste Slots ab, sodass morphologieübergreifendes Finetuning keinen neu geschriebenen Aktionskopf erfordert – das senkt die Integrationskosten bei neuen Roboterplattformen, verlangt aber zuerst eine Konvention zur Abbildung von Aktionen und Zuständen auf Slots. Zweitens zeigen die berichteten Deployment-Daten (synchrone Inferenz, 10-Schritt-Joint-Denoising, über Fixed-Shape-Kompilierung, CUDA Graph, Velocity-Caching, Prompt-Embedding-Caching und Überspringen der VAE-Dekodierung im Steuerpfad rund 170 ms pro Aktionsblock auf einer RTX 5090), dass der Inferenz-Stack stark auf feste Formen und Caching optimiert ist; variieren Eingabeauflösung, Aktionsblocklänge oder Batchgröße häufig, sinkt der Nutzen solcher Optimierungen deutlich. Drittens benennt die Quelle ausdrücklich die Arbeitsteilung von WAM und VLA: WAM passt bei In-Distribution-Aufgaben besser zur Trainingsverteilung, VLA ist bei Out-of-Distribution-Störungen meist robuster; die Rückgänge auf LIBERO-Plus konzentrieren sich auf Kamera- und Rauschstörungen und werden auf den begrenzten Anteil ähnlicher einarmiger Störproben in den Pretraining-Daten sowie die höhere Empfindlichkeit langfristiger Vorhersagen im Pixel-Latentraum gegenüber Blickwinkelrauschen zurückgeführt. Wer WAM direkt in Umgebungen mit wechselnder Sensoranordnung oder hochfrequentem Zittern einsetzen will, muss also gezielt Daten nachschärfen, statt Generalisierung out of the box zu erwarten.
Integration und Bewertung
Das Folgende sind Empfehlungen und bedingte Analysen, keine Aussagen der Quelle. Empfehlung eins: Ob Sie das Video-Backbone austauschen, hängt von Ihrem Rechenbudget und Ihrer Toleranz gegenüber Erfolgsratenunterschieden ab. Die Quelle berichtet, dass das 14B-Backbone 1,40 Prozentpunkte über dem 5B liegt, während 5B als Standard gewählt wurde; wenn Sie also in einer Phase mit einer Maschine und mehreren GPUs und häufigen Neutrainings sind, nutzen Sie zunächst 5B als Baseline und setzen den Bewertungsmaßstab auf eine durchschnittliche Erfolgsrate, die bei gleicher RoboTwin2.0-Konfiguration und festem Budget nicht unter Ihrem aktuellen Ansatz liegt, und protokollieren Sie Trainingszeit pro Lauf und Inferenzlatenz pro Aktionsblock. Ist Ihre Aufgabe hochpräzise Langzeitmanipulation und haben Sie stabile Rechenleistung, prüfen Sie zusätzlich, ob 14B einen Gewinn über das Rauschniveau hinaus bringt. Empfehlung zwei: Ob Sie bidirektionale gegenseitige Sicht im Informationsfluss verwenden, hängt davon ab, ob Sie domänenübergreifendes embodied Pretraining durchgeführt haben. Die Quelle berichtet, dass von Null aus der einseitige Fluss von Welt zu Aktion leicht überlegen ist, während nach Pretraining die bidirektionale gegenseitige Sicht innerhalb und außerhalb der Domäne stabiler ist; wenn Sie also offizielle vortrainierte Gewichte direkt finetunen, reproduzieren Sie vorrangig die bidirektionale Konfiguration; trainieren Sie von Null mit kleinen Daten, vergleichen Sie zuerst die einseitige Einstellung. Als Bewertungsmaßstab empfehlen sich Erfolgsraten unter randomisierten Einstellungen vom Typ Clean2Random, wobei In-Domain-Metriken nicht deutlich unter die Baseline fallen dürfen. Empfehlung drei: Ob Sie Daten aus der menschlichen Ego-Perspektive einbringen, hängt davon ab, ob Ihr Engpass In-Domain-Genauigkeit oder Out-of-Distribution-Generalisierung ist. Die Quelle berichtet, dass Pretraining In-Domain nur begrenzt, für OOD aber deutlich hilft und einstufiges Ko-Training etwas besser als mehrstufiges ist. Zeigt sich Ihr Einsatzfeld vor allem durch neue Beleuchtung, neue Hintergründe und neue Kameraposen, erweitern Sie vorrangig gemischte Daten aus menschlicher Ego-Perspektive und Roboterdaten und trainieren Sie einstufig; ist Ihr Problem eine hohe Fehlerrate beim grundlegenden Greifen, verbessern Sie zuerst die Aktionsannotationsqualität der Robotertrajektorien. Empfehlung vier: Prüfen Sie vor der Anbindung des Aktionsraums mit einem kleinen Replay, ob ungenutzte Dimensionen der 80-dimensionalen Abbildung korrekt von der Validitätsmaske ausgeblendet werden, und bewerten Sie erst danach die Aufgaben-Erfolgsrate nach dem Finetuning, um zu vermeiden, dass ungültige Dimensionen das Trainingssignal verunreinigen.
Grenzen und offene Fragen
Die Version OpenWAM-α erscheint derzeit nicht im Echtzeit-Modellkatalog von KimiSeek; Entwickler können sie auf dieser Website nicht direkt aufrufen. Die in der Quelle genannten Modell- und Datenveröffentlichungen verweisen auf Projektseiten wie Hugging Face und stehen in keinem Zusammenhang mit der Verfügbarkeit auf dieser Website. Alle Leistungszahlen der Quelle (einschließlich durchschnittlicher Erfolgsraten der Backbones, des EBench-Vorsprungs und der Erfolgsraten auf realen Robotern) stammen aus den Angaben der Autoren selbst; dieser Text hat sie weder unabhängig reproduziert noch die Verfahren unter einheitlichen Bedingungen erneut verglichen. Verschiedene Backbones unterscheiden sich in Struktur, Daten und Zielen, und die Quelle selbst mahnt, den Gewinn nicht einfach der Parameterzahl zuzuschreiben. Die Ergebnisse auf realen Robotern stammen von der Versuchsplattform des Forschungsteams; Aufgabensatz, Evaluationsprotokoll und Hardwarekonfiguration weichen stark von Produktionsumgebungen ab und lassen sich nicht direkt übertragen. Formulierungen der Quelle wie „erste Liga“ entbehren einer vollständigen Rangliste je Benchmark; Leser sollten sich auf die Paneldaten der Arbeit stützen. Ob das Projekt eine Open-Source-Lizenz verwendet und ob die Gewichte kommerziell nutzbar sind, sagt die Quelle nicht; herunterladbare Gewichte bedeuten keine Open-Source-Lizenz, maßgeblich sind die tatsächlichen Bedingungen von Repository und Modellkarte. Die Reproduzierbarkeit hängt davon ab, ob vortrainierte Gewichte, Datenrezept und Evaluationsprotokoll vollständig verfügbar sind; die Quelle gibt an, sie veröffentlicht zu haben, doch Vollständigkeit und künftige Wartungsstrategie sind unbekannt; auch die Distributionslizenz der Datenquellen kann Ihre Nutzung zum Neutraining einschränken.