← Todas as notícias

LCVN: prever a rota completa de navegação a partir de uma imagem inicial e uma instrução; as duas abordagens têm trade-offs distintos

Segundo o Machine Heart, em 8 de novembro de 2026, o LCVN propõe navegação visual condicionada por linguagem: com apenas uma imagem em primeira pessoa do ponto de partida e uma instrução em inglês, prevê a sequência completa de ações, sem feedback do ambiente para corrigir erros durante o percurso. O conjunto de dados tem 39.016 trajetórias e 117.048 instruções verificadas manualmente; o artigo compara a rota de modelo de mundo mais política com a de modelo unificado, com taxas de sucesso de 43% e 42% no domínio e de 19% e 27% em ambientes off-road desconhecidos.

Publicado Atualizado

O que mudou

Segundo o Machine Heart, em 8 de novembro de 2026, um trabalho chamado LCVN propõe a tarefa de navegação visual condicionada por linguagem: a entrada é apenas uma imagem em primeira pessoa do ponto de partida e uma instrução em inglês, e o modelo precisa prever de uma vez a sequência completa de ações, incluindo deslocamento no plano e mudança de orientação. A premissa central é que não há feedback do ambiente real para corrigir erros durante a previsão; o modelo só pode continuar a inferir a partir dos estados que ele próprio previu, e a avaliação final é feita sobre trajetórias reais de robôs, ou seja, mede-se a capacidade de previsão offline de trajetórias. A reportagem diz que o trabalho foi aceito como Oral no NeurIPS 2026. O conjunto de dados associado contém 39.016 trajetórias e 117.048 instruções verificadas manualmente; as trajetórias vêm de Go Stanford, ReCon, SCAND, HuRoN e TartanDrive, sendo as quatro primeiras usadas para treino e avaliação no domínio, e os cenários off-road do TartanDrive para testar a generalização em ambientes desconhecidos; cada trajetória recebe três tipos de instrução em inglês (conciso, detalhado e com marcos), 640 foram sorteadas para avaliação manual e a qualidade geral é de 5,2/6,0. O artigo compara duas rotas: LCVN-WM, em que o modelo de mundo e o modelo de política LCVN-AC trabalham juntos e a política aprende inteiramente no espaço latente do modelo de mundo; e LCVN-Uni, baseado no Anole-7B, que codifica imagem, linguagem e ações discretizadas em uma sequência unificada de tokens e, em uma única previsão, fornece ao mesmo tempo a próxima ação e a próxima observação. A reportagem informa taxas de sucesso de 43% e 42% no conjunto de validação do domínio, de 19% e 27% no ambiente TartanDrive desconhecido e de 36% e 34% no conjunto de teste misto; na previsão contínua de 8 passos, o SSIM@8 é de 0,293 e 0,218, com o segundo melhor no DreamSim. A ablação mostra que, ao remover o condicionamento por linguagem do LCVN-WM, a taxa de sucesso no domínio cai de 43% para 35%. Em um dos casos de falha apresentados no artigo, o LCVN-Uni acertou a direção da curva, mas não gerou o corredor e a porta branca de destino que deveriam aparecer após a curva, e as ações seguintes ficaram sem base visual confiável.

Impacto para desenvolvedores

Pelos números da reportagem, o desenvolvedor precisa primeiro distinguir os critérios: o sucesso da tarefa é definido como a distância entre o ponto final previsto e o alvo real ser menor que o passo médio daquela fonte de dados, o que significa que a régua de julgamento varia entre fontes, que taxas de sucesso de conjuntos diferentes não podem ser comparadas diretamente e que, em cenários com passo médio maior, o mesmo erro tende a ser julgado como sucesso. Além disso, as vantagens das duas rotas não coincidem. No domínio, a taxa de sucesso do modelo de mundo mais política é ligeiramente maior; em ambientes off-road desconhecidos, o modelo unificado é melhor; e na coerência estrutural e temporal da previsão contínua de imagens, o modelo de mundo é superior, e a própria reportagem ressalta que a capacidade de previsão visual e a capacidade de navegação devem ser avaliadas separadamente. Isso tem implicações práticas para a integração: se o módulo de planejamento consome imagens previstas ou estados latentes, as métricas de imagem importam tanto quanto a taxa de sucesso; se só se usa a trajetória final, as métricas de imagem podem ficar de lado. Em terceiro lugar, o condicionamento por linguagem não é decorativo. A ablação citada mostra queda clara da taxa de sucesso no domínio sem a instrução, o que indica que a instrução desempenha o papel de descrever o objetivo no modelo, e a qualidade da instrução deve ser tratada como variável de primeira ordem, não como detalhe de prompt. Por fim, todas essas conclusões se baseiam em previsão offline, e a reportagem lista explicitamente a validação em ciclo fechado com robôs reais como trabalho futuro; tratá-lo como uma política de navegação online pronta para uso no robô é uma inferência que vai além do que a reportagem cobre.

Integração e avaliação

A ordem de avaliação executável é: primeiro reproduzir a configuração no domínio relatada no código e no conjunto de dados públicos, confirmando que taxa de sucesso, erro de trajetória e métricas de imagem batem; depois separar um conjunto de validação do seu próprio cenário e recalculá-lo com a mesma definição de sucesso. Se o passo médio das trajetórias do seu ambiente for muito diferente do das fontes do artigo, a taxa de sucesso será recalibrada, e nesse caso convém também relatar o erro absoluto do ponto final, em vez de olhar só para o sucesso; em seguida, fazer a ablação do condicionamento por linguagem, rodando com e sem instrução sobre o mesmo lote de trajetórias e verificando se a diferença se aproxima dos 8 pontos percentuais relatados. Os dois pontos a seguir são recomendações condicionais e juízos de valor, não fatos da reportagem. Primeiro, a escolha da rota deve considerar se o domínio-alvo está dentro da distribuição de treino: se o seu cenário for próximo das quatro fontes indoor, pode-se começar pelo modelo de mundo mais política; se o alvo for off-road, sem mapa ou claramente desconhecido, pode-se começar pelo modelo unificado. Essa escolha se inverte quando você precisa de previsão contínua de imagens para apoiar decisões a jusante, pois o SSIM@8 do modelo unificado é menor segundo a reportagem. A premissa é ter capacidade de fazer avaliação fora do domínio com seus próprios dados; o critério testável é se a diferença de taxa de sucesso no seu cenário se mantém na mesma direção ao longo de várias sementes aleatórias, e não uma única execução. Segundo, incorporar instruções de linguagem ao pipeline de dados depende de você conseguir produzir instruções compatíveis com os três estilos predefinidos: se só tiver linguagem livre ou instruções que não sejam em inglês, não se deve supor que o mesmo ganho será obtido. O critério testável é a diferença de taxa de sucesso no mesmo lote de trajetórias de validação entre o grupo com estilo de instrução alinhado e o não alinhado, e se o ganho de ter instrução em relação a não ter é reproduzível.

Limites e pontos a confirmar

A reportagem menciona código e conjunto de dados, mas não diz se os pesos do modelo foram liberados, nem esclarece termos de licença de inferência ou uso comercial; portanto, código aberto não equivale a pesos disponíveis ou uso comercial permitido. A tarefa em si se limita à previsão offline de trajetórias; a execução em ciclo fechado e a capacidade de recuperação após erros ainda não foram validadas; as instruções cobrem apenas três estilos predefinidos em inglês, e expressões mais naturais e instruções em outros idiomas ainda estão por testar. O caso de falha do artigo também mostra que, quando a previsão de imagem desvia, as ações seguintes perdem base confiável. O LCVN não está atualmente no catálogo de modelos do KimiSeek, e a reportagem não menciona nenhuma API hospedada; se surgir alguma interface relacionada no futuro, sua disponibilidade, cotas e termos serão definidos pelo publicador e devem ser consultados na documentação oficial. A reportagem também menciona que a equipe está organizando a trilha WorldNav no RoboWorld Challenge 2026, usando o mesmo conjunto de teste misto; as equipes participantes devem observar se os critérios do ranking coincidem com os do artigo.

Três minutos até a primeira chamada

Crie uma conta e uma chave de API. O custo das chamadas é descontado do seu saldo. 30% de desconto na primeira recarga. Recarregue ¥500, pague ¥350, receba ¥500 de saldo. Recarregue ¥1000, pague ¥850, receba ¥1000 de saldo A recarga mínima continua sendo ¥10, adequada para testes.

Fontes e processo editorial

NeurIPS 2026 Oral|LCVN:一张起始画面、一段语言指令,能否预测完整的导航路线?

A IA auxiliou a análise e a tradução das fontes citadas, seguidas de verificações automáticas. Recomendações não são resultados de testes. Consulte o catálogo atual para preços e disponibilidade.