← Alle Modellneuigkeiten

LCVN: Ein Startbild und eine Anweisung genügen zur Vorhersage einer kompletten Navigationsroute – die beiden Ansätze haben unterschiedliche Stärken

Laut einem Bericht von Machine Heart vom 8. November 2026 stellt LCVN die Aufgabe der sprachbedingten visuellen Navigation: Ausgehend von einem einzigen First-Person-Bild am Startpunkt und einer englischen Anweisung wird die vollständige Aktionssequenz vorhergesagt, ohne Rückmeldung aus der Umgebung zur Korrektur. Der Datensatz umfasst 39.016 Trajektorien und 117.048 manuell geprüfte Anweisungen. Die Arbeit vergleicht zwei Ansätze – Weltmodell plus Policy und ein einheitliches Modell – mit Erfolgsraten von 43 % bzw. 42 % im Trainingsbereich und 19 % bzw. 27 % in unbekanntem Gelände.

Veröffentlicht Aktualisiert

Was sich geändert hat

Laut einem Bericht von Machine Heart vom 8. November 2026 stellt eine Arbeit namens LCVN die Aufgabe der sprachbedingten visuellen Navigation vor: Als Eingabe dienen nur ein First-Person-Bild vom Startpunkt und eine englische Sprachanweisung. Das Modell muss die vollständige Aktionssequenz in einem Durchgang vorhersagen, einschließlich ebener Verschiebungen und Richtungsänderungen. Entscheidend ist, dass während der Vorhersage keine Rückmeldung aus der realen Umgebung zur Korrektur zur Verfügung steht; das Modell entwickelt seine Vorhersage allein auf Basis der von ihm selbst vorhergesagten Zustände weiter. Die Bewertung erfolgt schließlich an realen Roboter-Trajektorien, sodass die Fähigkeit zur Offline-Trajektorienvorhersage geprüft wird. Der Bericht nennt die Arbeit als NeurIPS 2026 Oral. Der zugehörige Datensatz enthält 39.016 Trajektorien und 117.048 manuell geprüfte Anweisungen; die Trajektorien stammen aus Go Stanford, ReCon, SCAND, HuRoN und TartanDrive. Die ersten vier dienen zum Training und zur Bewertung im Trainingsbereich, die Offroad-Szenen von TartanDrive prüfen die Generalisierung in unbekannter Umgebung. Jede Trajektorie ist mit drei Arten englischer Anweisungen versehen – knapp, detailliert und landmarkenbasiert. 640 Anweisungen wurden zufällig für eine manuelle Bewertung ausgewählt, die Gesamtqualität liegt bei 5,2/6,0. Die Arbeit vergleicht zwei Ansätze: Bei LCVN-WM arbeitet ein Weltmodell mit dem Policy-Modell LCVN-AC zusammen, wobei die Policy vollständig im latenten Raum des Weltmodells lernt; LCVN-Uni basiert auf Anole-7B und kodiert Bilder, Sprache und diskretisierte Aktionen als einheitliche Token-Sequenz, sodass in einer Vorhersage zugleich die nächste Aktion und die nächste Beobachtung ausgegeben werden. Der Bericht nennt Erfolgsraten von 43 % und 42 % auf dem Validierungssatz im Trainingsbereich, 19 % und 27 % in der unbekannten TartanDrive-Umgebung sowie 36 % und 34 % auf dem gemischten Testsatz; bei acht aufeinanderfolgenden Vorhersagen liegt SSIM@8 bei 0,293 bzw. 0,218, wobei das zweite Modell bei DreamSim besser abschneidet. Eine Ablation zeigt: Entfernt man die Sprachbedingung von LCVN-WM, sinkt die Erfolgsrate im Trainingsbereich von 43 % auf 35 %. In einem im Papier genannten Fehlerfall erkannte LCVN-Uni die Abbiegerichtung korrekt, erzeugte aber weder den nach dem Abbiegen erwarteten Korridor noch die weiße Zieltür, sodass den folgenden Aktionen die verlässliche visuelle Grundlage fehlte.

Auswirkungen für Entwickler

Nach den im Bericht genannten Zahlen müssen Entwickler zunächst die Definition beachten: Ein erfolgreicher Aufgabenabschluss ist definiert als Abstand zwischen vorhergesagtem Endpunkt und realem Ziel, der kleiner ist als die durchschnittliche Schrittlänge der jeweiligen Datenquelle. Das bedeutet, dass verschiedene Datenquellen unterschiedliche Maßstäbe anlegen und Erfolgsraten über Datensätze hinweg nicht direkt vergleichbar sind; in Szenen mit größerer Schrittlänge wird derselbe Fehler eher als Erfolg gewertet. Zweitens überschneiden sich die Stärken der beiden Ansätze nicht. Laut Bericht ist die Erfolgsrate im Trainingsbereich beim Weltmodell plus Policy etwas höher, in unbekanntem Offroad-Gelände liegt dagegen das einheitliche Modell vorn, während das Weltmodell bei struktureller und zeitlicher Kohärenz der aufeinanderfolgenden Bildvorhersage besser ist; der Bericht betont selbst, dass visuelle Vorhersagefähigkeit und Navigationsfähigkeit getrennt betrachtet werden müssen. Das hat praktische Bedeutung für die Integration: Wenn das Planungsmodul vorhergesagte Bilder oder latente Zustände nutzt, sind Bildmetriken ebenso wichtig wie die Erfolgsrate; wenn nur die endgültige Trajektorie verwendet wird, können Bildmetriken zunächst außen vor bleiben. Drittens ist die Sprachbedingung keine Verzierung. Die im Bericht beschriebene Ablation zeigt einen deutlichen Rückgang der Erfolgsrate im Trainingsbereich nach Entfernen der Anweisung, was bedeutet, dass die Anweisung im Modell die Zielbeschreibung trägt; die Qualität der Anweisung sollte daher als zentrale Variable behandelt werden, nicht als bloßes Detail des Prompts. Schließlich beruhen alle diese Ergebnisse auf Offline-Vorhersage; der Bericht führt die geschlossene Validierung an realen Robotern ausdrücklich als ausstehende Arbeit auf. Die Strategie als direkt einsetzbare Online-Navigationspolicy zu betrachten, wäre eine Schlussfolgerung, die über den Bericht hinausgeht.

Integration und Bewertung

Eine praktikable Bewertungsreihenfolge: Zuerst das im Bericht beschriebene Setup im Trainingsbereich anhand des öffentlichen Codes und Datensatzes reproduzieren und prüfen, ob Erfolgsrate, Trajektorienfehler und Bildmetriken alle übereinstimmen; dann ein Holdout-Set aus der eigenen Umgebung abtrennen und mit derselben Erfolgsdefinition neu berechnen. Weicht die durchschnittliche Schrittlänge der Trajektorien in Ihrer Umgebung deutlich von den Datenquellen des Papers ab, wird die Erfolgsrate neu kalibriert; dann sollte zusätzlich der absolute Endpunktfehler berichtet werden, statt nur auf Erfolg zu achten. Anschließend eine Ablation der Sprachbedingung durchführen: dieselben Trajektorien einmal mit und einmal ohne Anweisung laufen lassen und prüfen, ob die Differenz nahe an den im Bericht genannten 8 Prozentpunkten liegt. Die folgenden zwei Punkte sind bedingte Empfehlungen und Einschätzungen, keine im Bericht belegten Fakten. Erstens sollte die Wahl des Ansatzes davon abhängen, ob die Zielumgebung in der Trainingsverteilung liegt: Ähneln Ihre Szenen den vier Indoor-Datenquellen, können Sie zuerst die Kombination aus Weltmodell und Policy testen; sind Ihre Ziele Offroad, nicht kartiert oder deutlich unbekannt, können Sie zuerst das einheitliche Modell testen. Diese Wahl kehrt sich um, wenn Sie kontinuierliche Bildvorhersagen zur Unterstützung nachgelagerter Entscheidungen benötigen, denn im Bericht ist SSIM@8 beim einheitlichen Modell niedriger. Voraussetzung ist, dass Sie eine Out-of-Domain-Bewertung auf eigenen Daten durchführen können; ein messbares Kriterium ist, ob die Erfolgsratenunterschiede in Ihrer Umgebung über mehrere zufällige Seeds hinweg stabil in dieselbe Richtung zeigen und nicht nur bei einem einzelnen Lauf. Zweitens hängt davon, ob Sprachbefehle in die Datenpipeline aufgenommen werden, ab, ob Sie Anweisungen erzeugen können, die zu den drei vorgegebenen Stilen passen: Wenn Sie nur freie Umgangssprache oder nicht-englische Anweisungen haben, sollten Sie nicht annehmen, denselben Nutzen zu erzielen. Ein messbares Kriterium ist der Erfolgsratenunterschied zwischen einer Gruppe mit stilkonformen und einer ohne stilkonforme Anweisungen auf denselben Holdout-Trajektorien sowie die Frage, ob sich der Zugewinn mit Anweisung gegenüber ohne Anweisung reproduzieren lässt.

Grenzen und offene Fragen

Der Bericht nennt Code und Datensatz, sagt aber nicht, ob Modellgewichte veröffentlicht wurden, und macht keine Angaben zu Lizenzbedingungen für Inferenz oder kommerzielle Nutzung. Die Offenlegung von Code ist daher nicht gleichbedeutend mit nutzbaren Gewichten oder kommerzieller Nutzbarkeit. Die Aufgabe selbst ist auf Offline-Trajektorienvorhersage beschränkt; geschlossene Ausführung und Erholung nach Fehlern sind noch nicht validiert. Die Anweisungen decken nur drei vordefinierte englische Stile ab; natürlichere Formulierungen und mehrsprachige Anweisungen müssen noch geprüft werden. Der Fehlerfall im Paper zeigt zudem, dass nachgelagerte Aktionen die verlässliche Grundlage verlieren, sobald die Bildvorhersage abweicht. LCVN ist derzeit nicht im Modellkatalog von KimiSeek; der Bericht erwähnt auch keine gehostete API. Sollte künftig eine entsprechende Schnittstelle erscheinen, liegen Verfügbarkeit, Kontingente und Bedingungen beim Anbieter und sind anhand seiner offiziellen Angaben zu prüfen. Der Bericht erwähnt außerdem, dass das Team im Rahmen der RoboWorld Challenge 2026 einen WorldNav-Track ausrichtet, der denselben gemischten Testsatz verwendet; teilnehmende Teams sollten darauf achten, ob die Bewertungsdefinition der Rangliste mit der des Papers übereinstimmt.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

NeurIPS 2026 Oral|LCVN:一张起始画面、一段语言指令,能否预测完整的导航路线?

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.