← 全部模型资讯

LCVN:一张起点图加一句指令预测完整导航路线,两条路线的取舍并不相同

据机器之心 2026 年 11 月 8 日报道,LCVN 提出语言条件视觉导航:只给起点第一人称图像和一段英文指令,预测完整动作序列,途中没有环境反馈纠错。数据集含 39016 条轨迹、117048 条人工核验指令,论文比较世界模型加策略与统一模型两条路线,域内成功率 43% 与 42%,陌生越野环境 19% 与 27%。

发布 更新

发生了什么

据机器之心 2026 年 11 月 8 日的报道,一项名为 LCVN 的工作提出语言条件视觉导航任务:输入只有一张起点第一人称图像和一段英文语言指令,模型需要一次性预测完整动作序列,包括平面位移与朝向变化。关键设定是预测途中没有真实环境反馈用于纠错,模型只能沿自己预测的状态继续推演,最后在真实机器人轨迹上评估,因此考察的是离线轨迹预测能力。报道称该工作入选 NeurIPS 2026 Oral。配套数据集包含 39016 条轨迹与 117048 条经人工核验的指令,轨迹来自 Go Stanford、ReCon、SCAND、HuRoN 和 TartanDrive,前四个用于训练与域内评估,TartanDrive 的越野场景用于检验陌生环境下的泛化;每条轨迹配简洁型、详细型、地标型三种英文指令,随机抽取 640 条做人工评估,整体质量 5.2/6.0。论文比较两条路线:LCVN-WM 世界模型与 LCVN-AC 策略模型配合,策略完全在世界模型的潜层空间中学习;LCVN-Uni 基于 Anole-7B,把图像、语言和离散化动作编码为统一 token 序列,在一次预测中同时给出下一步动作与下一帧观测。报道给出域内验证集成功率 43% 与 42%,陌生 TartanDrive 环境为 19% 与 27%,混合测试集为 36% 与 34%;连续预测 8 步时 SSIM@8 为 0.293 与 0.218,后者在 DreamSim 上更好。消融显示,移除 LCVN-WM 的语言条件后,域内成功率从 43% 降到 35%。论文给出的失败案例中,LCVN-Uni 判断对了转弯方向,却没有生成转弯后应出现的走廊与目标白门,后续动作因此失去可靠的视觉依据。

对开发者的影响

按报道的数字看,开发者首先需要分清口径:任务成功被定义为预测终点与真实目标的距离小于该数据源的平均步长,这意味着不同数据源的判定尺子并不一样,跨数据集的成功率不能直接横比,步长较大的场景里同样误差更容易被判成功。其次,两条路线的优势并不重合。报道的域内成功率是世界模型加策略略高,陌生越野环境反过来是统一模型更高,而连续画面预测的结构与时间连贯性又是世界模型更好,报道本身也强调视觉预测能力与导航能力需要分开考察。这对接入方式有实际含义:如果规划模块吃的是预测画面或潜状态,画面指标就与成功率同等重要;如果只取最终轨迹,画面指标可以先放一边。第三,语言条件不是装饰。报道的消融显示去掉指令后域内成功率有明显回落,说明指令在模型里承担了目标描述的作用,指令质量应被视为一等变量而不是提示词细节。最后,这些结论都建立在离线预测之上,报道明确把真实机器人的闭环验证列为待开展的工作;把它当作可直接上机的在线导航策略,属于超出报道范围的推断。

接入与评估建议

可执行的评估顺序是:先在公开代码与数据集上复现报道的域内设置,确认成功率、轨迹误差与画面指标三项都能对上,再切出自己场景的留出集,用同一成功定义复算。如果你场地里轨迹的平均步长与论文数据源差得较多,成功率会被重新标定,此时应同时报告绝对终点误差而不是只看是否成功;随后做语言条件消融,用同一批轨迹分别跑有指令和无指令两版,看差值是否接近报道的 8 个百分点。 以下两条属于条件性建议与推荐性判断,不是报道事实。其一,路线选择应看目标域是否落在训练分布内:若你的场景与室内四个数据源接近,可以先试世界模型加策略的组合;若目标是越野、未建图或明显陌生的场地,可以先试统一模型。这个选择在你需要连续画面预测来支撑下游决策时会翻转,因为报道中统一模型的 SSIM@8 更低。前提是你有能力在自己的数据上做域外留出评估;可测判据是在多次随机种子下,你场景的成功率差异是否稳定同向,而非单次跑分。其二,是否把语言指令编入数据管线,取决于你能否产出与三种预设风格相匹配的指令:如果手里只有自由口语或非英文指令,就不应假设能拿到同等收益。可测判据是同一批留出轨迹上,指令风格对齐组与不对齐组的成功率差值,以及有指令相对无指令的增益是否可复现。

限制与待确认事项

报道给出的是代码与数据集,未说明是否放出模型权重,也没有交代推理或商用许可条款,因此不能把代码公开等同于权重可用或可商用。任务本身限定在离线轨迹预测,闭环执行、出错后的恢复能力都还没有验证;指令只覆盖三种预先定义的英文风格,更自然的表达和多语言指令仍在待检验范围。论文的失败案例也说明,画面预测一旦走偏,后续动作会失去可靠依据。LCVN 目前不在 KimiSeek 的模型目录中,报道也没有提到任何托管 API;如果之后出现相关接口,其可用性、配额与条款由发布方决定,需要以其官方说明为准。报道还提到该团队正在 RoboWorld Challenge 2026 举办 WorldNav 赛道,使用的是同一混合测试集,参与队伍需要留意榜单口径与论文口径是否一致。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

NeurIPS 2026 Oral|LCVN:一张起始画面、一段语言指令,能否预测完整的导航路线?

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。