LCVN: 시작 이미지 한 장과 명령 한 문장으로 전체 내비게이션 경로 예측, 두 갈래 경로의 장단점은 서로 다르다
마신즈신 2026년 11월 8일 보도에 따르면, LCVN은 언어 조건 시각 내비게이션을 제안한다. 시작 시점 1인칭 이미지 한 장과 영어 명령 한 문장만 주어지고, 도중에 환경 피드백으로 오류를 바로잡을 수 없이 전체 행동 시퀀스를 예측한다. 데이터셋은 궤적 39,016개와 수작업 검증 명령 117,048개로 구성되며, 논문은 월드 모델+정책과 통합 모델 두 갈래를 비교한다. 도메인 내 성공률은 43%와 42%, 낯선 오프로드 환경에서는 19%와 27%다.
주요 변화
마신즈신 2026년 11월 8일 보도에 따르면, LCVN이라는 작업이 언어 조건 시각 내비게이션 과제를 제안한다. 입력은 시작 시점의 1인칭 이미지 한 장과 영어 언어 명령 한 문장뿐이며, 모델은 평면 이동과 방향 변화를 포함한 전체 행동 시퀀스를 한 번에 예측해야 한다. 핵심 설정은 예측 도중 실제 환경 피드백으로 오류를 바로잡을 수 없고, 모델이 자신이 예측한 상태를 따라 계속 추론하며, 최종적으로 실제 로봇 궤적에서 평가된다는 점이므로 오프라인 궤적 예측 능력을 살펴보는 것이다. 보도에 따르면 이 작업은 NeurIPS 2026 Oral에 선정되었다. 함께 공개된 데이터셋에는 궤적 39,016개와 수작업 검증을 거친 명령 117,048개가 포함되며, 궤적은 Go Stanford, ReCon, SCAND, HuRoN, TartanDrive에서 왔다. 앞의 네 가지는 훈련과 도메인 내 평가에 사용되고, TartanDrive의 오프로드 장면은 낯선 환경에서의 일반화를 검증하는 데 쓰인다. 각 궤적에는 간결형, 상세형, 랜드마크형 세 가지 영어 명령이 붙으며, 무작위로 640개를 뽑아 수작업 평가했고 전체 품질은 5.2/6.0이다. 논문은 두 갈래를 비교한다. LCVN-WM 월드 모델과 LCVN-AC 정책 모델을 결합하며 정책은 전적으로 월드 모델의 잠재 공간에서 학습된다. LCVN-Uni는 Anole-7B를 기반으로 이미지, 언어, 이산화된 행동을 통일된 토큰 시퀀스로 인코딩하여 한 번의 예측에서 다음 행동과 다음 프레임 관측을 동시에 제시한다. 보도는 도메인 내 검증 세트 성공률 43%와 42%, 낯선 TartanDrive 환경 19%와 27%, 혼합 테스트 세트 36%와 34%를 제시한다. 연속 8스텝 예측 시 SSIM@8은 0.293과 0.218이며, 후자가 DreamSim에서 더 좋다. 소거 실험은 LCVN-WM의 언어 조건을 제거하면 도메인 내 성공률이 43%에서 35%로 떨어짐을 보여준다. 논문이 제시한 실패 사례에서 LCVN-Uni는 회전 방향은 맞혔지만 회전 후 나타나야 할 복도와 목표 흰 문을 생성하지 못했고, 이후 행동은 신뢰할 만한 시각적 근거를 잃었다.
개발자에게 미치는 영향
보도된 수치를 보면, 개발자는 먼저 기준을 구분해야 한다. 과제 성공은 예측 종점과 실제 목표의 거리가 해당 데이터 소스의 평균 스텝 길이보다 작은 것으로 정의되므로, 데이터 소스마다 판정 기준이 다르다. 데이터셋 간 성공률을 직접 가로로 비교할 수 없고, 스텝 길이가 큰 장면에서는 같은 오차가 더 쉽게 성공으로 판정된다. 둘째, 두 갈래의 우위는 겹치지 않는다. 보도된 도메인 내 성공률은 월드 모델+정책이 약간 높고, 낯선 오프로드 환경에서는 반대로 통합 모델이 더 높으며, 연속 화면 예측의 구조와 시간적 일관성은 다시 월드 모델이 더 좋다. 보도 자체도 시각 예측 능력과 내비게이션 능력을 분리해 살펴야 한다고 강조한다. 이는 접속 방식에 실제 함의가 있다. 계획 모듈이 예측 화면이나 잠재 상태를 입력으로 받는다면 화면 지표가 성공률만큼 중요하고, 최종 궤적만 취한다면 화면 지표는 일단 제쳐둘 수 있다. 셋째, 언어 조건은 장식이 아니다. 보도의 소거 실험은 명령을 제거하면 도메인 내 성공률이 뚜렷이 하락함을 보여주며, 명령이 모델에서 목표 설명의 역할을 담당한다는 점을 시사하므로 명령 품질은 프롬프트 세부 사항이 아니라 일급 변수로 간주해야 한다. 마지막으로, 이 결론들은 모두 오프라인 예측에 기반하며, 보도는 실제 로봇의 폐루프 검증을 앞으로 수행할 작업으로 명시한다. 이를 곧바로 기기에 올릴 수 있는 온라인 내비게이션 정책으로 보는 것은 보도 범위를 넘는 추론이다.
연동 및 평가 제안
실행 가능한 평가 순서는 다음과 같다. 먼저 공개 코드와 데이터셋에서 보도된 도메인 내 설정을 재현해 성공률, 궤적 오차, 화면 지표 세 가지가 모두 맞는지 확인한 뒤, 자신의 장면에서 홀드아웃 세트를 분리해 같은 성공 정의로 다시 계산한다. 만약 현장 궤적의 평균 스텝 길이가 논문 데이터 소스와 크게 다르면 성공률이 재보정되므로, 이때는 성공 여부만 보지 말고 절대 종점 오차도 함께 보고해야 한다. 이어서 언어 조건 소거 실험을 하여 같은 궤적 배치로 명령 있음과 없음 두 버전을 각각 실행하고 차이가 보도된 8퍼센트포인트에 가까운지 본다. 다음 두 가지는 조건부 제안과 권장 판단이며, 보도된 사실이 아니다. 첫째, 갈래 선택은 목표 도메인이 훈련 분포 안에 있는지에 달려 있다. 장면이 실내 네 가지 데이터 소스와 가깝다면 월드 모델+정책 조합을 먼저 시도할 수 있고, 목표가 오프로드, 미맵핑 또는 뚜렷이 낯선 장소라면 통합 모델을 먼저 시도할 수 있다. 이 선택은 연속 화면 예측으로 다운스트림 의사결정을 뒷받침해야 할 때 뒤집히는데, 보도에서 통합 모델의 SSIM@8이 더 낮기 때문이다. 전제는 자신의 데이터에서 도메인 외 홀드아웃 평가를 할 능력이 있다는 것이고, 측정 가능한 판준은 여러 랜덤 시드에서 장면의 성공률 차이가 안정적으로 같은 방향인지, 단일 실행 점수가 아닌지 확인하는 것이다. 둘째, 언어 명령을 데이터 파이프라인에 넣을지는 세 가지 사전 정의 스타일에 맞는 명령을 생산할 수 있는지에 달려 있다. 자유 구어나 비영어 명령만 있다면 같은 이득을 얻는다고 가정해서는 안 된다. 측정 가능한 판준은 같은 홀드아웃 궤적 배치에서 명령 스타일 정렬 그룹과 비정렬 그룹의 성공률 차이, 그리고 명령 있음이 명령 없음 대비 갖는 이득이 재현 가능한지 여부다.
제한과 확인할 사항
보도가 제공한 것은 코드와 데이터셋이며, 모델 가중치 공개 여부는 밝히지 않았고 추론 또는 상업적 라이선스 조항도 설명하지 않았다. 따라서 코드 공개를 가중치 사용 가능 또는 상업적 사용 가능과 동일시할 수 없다. 과제 자체는 오프라인 궤적 예측으로 한정되며, 폐루프 실행과 오류 후 복구 능력은 아직 검증되지 않았다. 명령은 세 가지 사전 정의된 영어 스타일만 포괄하며, 더 자연스러운 표현과 다국어 명령은 여전히 검증 대기 범위에 있다. 논문의 실패 사례도 화면 예측이 한 번 어긋나면 이후 행동이 신뢰할 만한 근거를 잃는다는 점을 보여준다. LCVN은 현재 KimiSeek 모델 카탈로그에 없으며, 보도도 어떤 호스팅 API도 언급하지 않았다. 이후 관련 인터페이스가 나타나더라도 그 가용성, 쿼터, 약관은 배포자가 정하며, 공식 설명을 기준으로 삼아야 한다. 보도는 또한 이 팀이 RoboWorld Challenge 2026에서 WorldNav 트랙을 개최하며 같은 혼합 테스트 세트를 사용한다고 전한다. 참가 팀은 리더보드 기준과 논문 기준이 일치하는지 주의해야 한다.