LCVN : une image de départ et une instruction suffisent à prédire un parcours de navigation complet, mais les deux approches ne se valent pas selon le contexte
Selon un article de Machine Heart du 8 novembre 2026, LCVN propose la navigation visuelle conditionnée par le langage : à partir d'une seule image ego-centrée du point de départ et d'une instruction en anglais, le modèle prédit une séquence d'actions complète, sans retour d'information de l'environnement pour corriger la trajectoire. Le jeu de données compte 39 016 trajectoires et 117 048 instructions vérifiées manuellement. L'article compare deux approches — modèle du monde plus politique, et modèle unifié — avec des taux de réussite de 43 % et 42 % en domaine, et de 19 % et 27 % en environnement tout-terrain inconnu.
Ce qui change
Selon un article de Machine Heart du 8 novembre 2026, un travail nommé LCVN propose une tâche de navigation visuelle conditionnée par le langage : l'entrée se limite à une image ego-centrée du point de départ et à une instruction en anglais, et le modèle doit prédire en une seule passe la séquence d'actions complète, déplacements dans le plan et changements d'orientation compris. Le point clé est qu'aucun retour d'information réel de l'environnement n'intervient en cours de prédiction pour corriger la trajectoire : le modèle ne peut continuer qu'à partir des états qu'il a lui-même prédits, et l'évaluation se fait sur des trajectoires de robots réelles, ce qui en fait une capacité de prédiction de trajectoire hors ligne. L'article indique que ce travail a été retenu pour un Oral à NeurIPS 2026. Le jeu de données associé contient 39 016 trajectoires et 117 048 instructions vérifiées manuellement ; les trajectoires proviennent de Go Stanford, ReCon, SCAND, HuRoN et TartanDrive, les quatre premiers servant à l'entraînement et à l'évaluation en domaine, tandis que les scènes tout-terrain de TartanDrive servent à tester la généralisation en environnement inconnu. Chaque trajectoire est associée à trois styles d'instruction en anglais — concis, détaillé et par repères — et 640 instructions tirées au hasard ont été évaluées manuellement, avec une qualité globale de 5,2/6,0. L'article compare deux approches : LCVN-WM, un modèle du monde combiné à LCVN-AC, un modèle de politique qui apprend entièrement dans l'espace latent du modèle du monde ; et LCVN-Uni, fondé sur Anole-7B, qui encode image, langage et actions discrétisées en une séquence de tokens unifiée et fournit en une seule prédiction l'action suivante et l'observation suivante. L'article rapporte des taux de réussite de 43 % et 42 % sur le jeu de validation en domaine, de 19 % et 27 % sur l'environnement TartanDrive inconnu, et de 36 % et 34 % sur le jeu de test mixte ; sur 8 pas de prédiction consécutifs, le SSIM@8 est de 0,293 et 0,218, le second étant meilleur sur DreamSim. Une ablation montre que retirer le conditionnement linguistique de LCVN-WM fait chuter le taux de réussite en domaine de 43 % à 35 %. Dans l'un des cas d'échec cités, LCVN-Uni identifie correctement le sens du virage mais ne génère ni le couloir ni la porte blanche cible qui devraient apparaître après le virage, privant les actions suivantes de repère visuel fiable.
Conséquences pour les développeurs
D'après les chiffres rapportés, les développeurs doivent d'abord distinguer les conventions de mesure : le succès est défini comme une distance entre le point final prédit et la cible réelle inférieure au pas moyen de la source de données concernée, ce qui signifie que l'étalon varie d'une source à l'autre et que les taux de réussite ne sont pas directement comparables entre jeux de données ; dans les scènes à pas plus grand, une même erreur est plus facilement jugée comme un succès. Ensuite, les avantages des deux approches ne se recouvrent pas. Le taux de réussite en domaine rapporté est légèrement supérieur pour le modèle du monde combiné à la politique, alors que l'environnement tout-terrain inconnu favorise le modèle unifié, tandis que la cohérence structurelle et temporelle de la prédiction d'images successives est meilleure pour le modèle du monde ; l'article souligne lui-même que la capacité de prédiction visuelle et la capacité de navigation doivent être examinées séparément. Cela a des conséquences concrètes sur l'intégration : si le module de planification consomme des images ou des états latents prédits, les métriques d'image comptent autant que le taux de réussite ; si l'on ne récupère que la trajectoire finale, elles peuvent être laissées de côté. Troisièmement, le conditionnement linguistique n'est pas décoratif. L'ablation rapportée montre un recul net du taux de réussite en domaine lorsque l'instruction est retirée, ce qui indique que l'instruction joue dans le modèle le rôle de description d'objectif : sa qualité doit être traitée comme une variable de premier ordre, et non comme un détail de prompt. Enfin, ces conclusions reposent toutes sur de la prédiction hors ligne, et l'article classe explicitement la validation en boucle fermée sur robot réel parmi les travaux à mener ; considérer LCVN comme une politique de navigation en ligne directement déployable sur robot dépasse le cadre du compte rendu.
Intégration et évaluation
L'ordre d'évaluation réalisable est le suivant : reproduire d'abord la configuration en domaine rapportée sur le code et le jeu de données publics, vérifier que le taux de réussite, l'erreur de trajectoire et les métriques d'image concordent tous les trois, puis constituer un jeu de validation propre à votre scénario et recalculer avec la même définition du succès. Si le pas moyen des trajectoires de votre site diffère sensiblement de celui des sources de l'article, le taux de réussite sera recalibré ; il faut alors rapporter aussi l'erreur absolue sur le point final, et pas seulement le succès ou l'échec. Réalisez ensuite une ablation du conditionnement linguistique en faisant tourner sur le même lot de trajectoires une version avec instruction et une version sans, et regardez si l'écart se rapproche des 8 points rapportés. Les deux points suivants relèvent de recommandations conditionnelles et de jugements, non de faits rapportés. Premièrement, le choix d'approche devrait dépendre de la position du domaine cible par rapport à la distribution d'entraînement : si votre scénario est proche des quatre sources intérieures, on peut d'abord essayer la combinaison modèle du monde plus politique ; si la cible est tout-terrain, non cartographiée ou nettement inconnue, on peut d'abord essayer le modèle unifié. Ce choix s'inverse lorsque vous avez besoin de prédictions d'images successives pour appuyer des décisions en aval, car le SSIM@8 du modèle unifié est plus faible dans l'article. Cela suppose que vous puissiez mener une évaluation hors domaine sur vos propres données ; le critère mesurable est de savoir si, sur plusieurs graines aléatoires, l'écart de taux de réussite dans votre scénario reste stable et de même signe, et non s'il repose sur une seule exécution. Deuxièmement, l'intégration des instructions linguistiques dans le pipeline de données dépend de votre capacité à produire des instructions correspondant aux trois styles prédéfinis : si vous ne disposez que d'instructions orales libres ou non anglaises, il ne faut pas supposer un gain équivalent. Le critère mesurable est l'écart de taux de réussite, sur le même lot de trajectoires de validation, entre le groupe aligné sur le style d'instruction et le groupe non aligné, ainsi que la reproductibilité du gain apporté par l'instruction par rapport à son absence.
Limites et points à confirmer
L'article fournit du code et un jeu de données, mais ne précise pas si les poids des modèles sont publiés, ni les conditions de licence pour l'inférence ou l'usage commercial ; on ne peut donc pas assimiler la publication du code à la disponibilité des poids ou à un droit d'usage commercial. La tâche elle-même se limite à la prédiction de trajectoire hors ligne ; l'exécution en boucle fermée et la capacité de reprise après erreur ne sont pas encore validées. Les instructions ne couvrent que trois styles anglais prédéfinis, et les formulations plus naturelles comme les instructions multilingues restent à examiner. Le cas d'échec cité montre aussi que, lorsque la prédiction d'image dérive, les actions suivantes perdent leur repère fiable. LCVN n'est pas actuellement au catalogue de modèles de KimiSeek, et l'article ne mentionne aucune API hébergée ; si une interface de ce type apparaît plus tard, sa disponibilité, ses quotas et ses conditions relèveront de l'éditeur et devront être vérifiés auprès de ses indications officielles. L'article mentionne par ailleurs que l'équipe organise la piste WorldNav du RoboWorld Challenge 2026, qui utilise le même jeu de test mixte ; les équipes participantes doivent vérifier la cohérence entre les conventions du classement et celles de l'article.