Open-Nav：探索开放源代码LLM在连续环境中零样本视觉和语言导航

Sep, 2024

Open-Nav：探索开放源代码LLM在连续环境中零样本视觉和语言导航

Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs

Yanyuan Qiao, Wenqi Lyu, Hui Wang, Zixu Wang, Zerui Li...

TL;DR本研究解决了传统视觉和语言导航（VLN）方法依赖特定领域数据集的问题，提出了一种新颖的使用开放源代码LLM进行零样本导航的方式。通过空间-时间链式推理框架，Open-Nav能有效理解指令、估计进度并做出决策，实验结果表明其在模拟和真实环境中的表现与闭源LLM相媲美，具有广泛的应用潜力。

Abstract

Vision-and-Language Navigation (VLN) tasks require an agent to follow textual instructions to navigate through 3D environments. Traditional approaches use supervised learning methods, relying heavily on domain-specific datasets to train VLN models. Recent methods try to utilize closed-

发现论文，激发创造

NavGPT: 基于大语言模型的视觉语言导航的明确推理

本篇论文中，我们使用大语言模型（LLMs）为基础，介绍了一款纯 LLMs 导航代理 NavGPT，通过对视觉和语言导航（VLN）进行零样本顺序动作预测，揭示了 GPT 模型在复杂体验场景中的推理能力，以及它在导航中的应用，通过全面的实验，展示了 NavGPT 可以分解指令成子目标、对与导航任务相关的常识知识进行集成以及适应特殊情况等高级规划能力。

May, 2023

MO-VLN: 一个用于开放集零样本视觉与语言导航的多任务基准测试

提出一个名为MO-VLN的基准测试系统，用于测试机器人智能导航的效果和泛化能力。该系统包含三个逼真的3D场景，并涉及多个复杂的非常见物体，任务包括目标定位和高级指令追踪等。

Jun, 2023

移动之前进行讨论：通过多专家讨论进行视觉语言导航

通过与专家的讨论，我们引入了一种新的零射击视觉语言导航框架，命名为DiscussNav，能够有效地增强导航性能。

Sep, 2023

OpenFMNav: 面向开放式、零样本物体导航的视觉语言基础模型

我们提出了OpenFMNav，一种基于开放集对象导航的零样本模型，通过利用大型语言模型和视觉语言模型的推理和泛化能力，能够理解自由形式的人类指令，并在各种环境中进行有效的零样本导航，通过对HM3D ObjectNav基准测试的广泛实验，证明了我们方法的有效性，并通过真实机器人演示验证了这种方法对真实环境的开放性和泛化能力。

Feb, 2024

基于视频的VLM为视觉与语言导航规划下一步

NaVid是一个基于视频的大型视觉语言模型，通过动态的视频流输入，无需地图、测距仪和深度信息，实现了最先进水平的导航性能，解决了里程计噪声和模拟环境到真实环境之间的缺陷，同时有效地利用机器人的历史观察作为决策和指令遵循的时空背景，通过对550k个导航样本和665k个网络数据的训练，在模拟环境和真实世界中取得了非常好的性能，为导航代理和整个研究领域规划了下一步。

Feb, 2024

NavCoT: 基于学习的解耦推理，提升基于LLM的视觉与语言导航

通过构建导航思维链（NavCoT）进行领域内训练的新策略，提高了基于大型语言模型（LLM）的自主导航决策性能以减少领域差距。NavCoT相对于直接行动预测的变体在各种训练设置和流行的视听导航基准上表现明显优越，并通过简单的参数微调在R2R数据集上实现了约7％的相对改进。该方法将帮助开发更适应任务且可扩展的基于LLM的真实世界机器人应用。

Mar, 2024

零射击视觉语言导航中的思考、交互和行动框架

利用大型语言模型和Thinking Interacting and Action框架，本研究提出了一种用于零样本导航的导航代理，该方法提高了基于大型语言模型的代理导航的性能，并在Room-to-Room数据集上优于某些基于监督学习的方法，展示了其在零样本导航中的有效性。

Mar, 2024

超导航：通过开放词汇检测和结构化表示提升迭代视觉语言导航

通过在迭代视觉语言导航（IVLN）技术中引入长期记忆，OVER-NAV 综合使用 LLMs 和开放词汇探测器来提炼关键信息、建立多模式信号之间的对应关系，并引入结构化表示 Omnigraph 和新颖的 Omnigraph 融合机制，以从 Omnigraph 中提取最相关的知识以实现更准确的导航操作。同时，OVER-NAV在离散和连续环境下都能无缝支持，大量的实验证明了其卓越性能。

Mar, 2024

MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

May, 2024

NavGPT-2：发掘大型视觉语言模型的导航推理能力

通过固定Large Language Models中的视觉内容，我们利用了一种将LLMs和导航策略网络结合起来进行有效动作预测和导航推理的方法，展示了所提出方法的数据效率，并消除了基于LM的代理与最先进VLN专家之间的差距。

Jul, 2024