本论文提出了一种结合了学习和规划的方法，名为 ViKiNG，其可以利用道路框图和 GPS 坐标等侧面信息作为规划启发式，通过遍历性模型来推断子目标是否可达，通过启发式模型来评估子目标的合适性，从而确定达到最终目标的最佳路径。实验证明，尽管训练数据集中从未出现超过 80 米的轨迹，ViKiNG 可以导航到之前未见过的环境中的距离达 3 公里的目标，表现出探测潜在路径和回溯的复杂行为，而且对不可靠的地图和 GPS 信号也十分稳定。

Feb, 2022

本文介绍了一种基于 ViNL 的视觉导航和运动方案，其中包括一个视觉导航策略和一个视觉运动策略，它们都是完全 “无模型” 的，通过端到端训练的神经网络来实现机器人在未知室内环境中的智能导航和避开障碍物的智能视觉运动。

Oct, 2022

通过利用大规模的房屋导览视频数据集，本文提出了一种视觉语言导航方法，使用自动构建的路径指令对训练的代理进行预训练，并利用视频中的布局信息来提高导航的泛化性能。通过实验结果表明，该方法在两个流行的基准测试（R2R 和 REVERIE）上取得了最先进的性能。

Jul, 2023

本文提出了一种机器人导航系统，采用模仿学习框架在复杂环境下成功导航，使用 RGB 和深度 (RGBD) 信息，可以应对大型环境和多个房间及未知目标的导航，相较于多个基准测试具有更好的性能。

Sep, 2019

NaVid 是一个基于视频的大型视觉语言模型，通过动态的视频流输入，无需地图、测距仪和深度信息，实现了最先进水平的导航性能，解决了里程计噪声和模拟环境到真实环境之间的缺陷，同时有效地利用机器人的历史观察作为决策和指令遵循的时空背景，通过对 550k 个导航样本和 665k 个网络数据的训练，在模拟环境和真实世界中取得了非常好的性能，为导航代理和整个研究领域规划了下一步。

Feb, 2024

本文旨在研究如何将视觉 - 语言导航技术 (VLN) 从模拟场景应用于物理机器人，并提出了使用子目标模型和领域随机化等方法，以提升在未知环境下的表现。作者在 325 平方米的办公室内进行实验，结果表明，在提前采集和注释了占用图和导航图的情况下，模拟 - to - 真实的转移成功率可达 46.8%，而完全没有先前信息的情况下，转移成功率仅有 22.5%。

Nov, 2020

提出了一种无需外部监督或奖励的新方法，通过三个阶段，学习从图像输入进行导航：学习视角的良好表示，然后使用内存进行探索，最后通过设置自己的目标来学习导航。该模型仅使用内在奖励进行培训，因此适用于任何具有图像观察的环境。通过使用 RGB 输入训练代理在具有挑战性的 Gibson 数据集的逼真环境中导航的好处。

Apr, 2020

通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

在本文中，我们提出了一个在真实世界中解决 VLN 任务的新型导航框架，该框架利用强大的基础模型，并包括四个关键组成部分：(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器，(2) 构建实时的视觉 - 语言地图以保持对未知环境的空间和语义理解的在线视觉 - 语言映射器，(3) 基于语言索引的定位器，将每个宏操作描述重新映射到地图上的路径点位置，以及 (4) 基于 DD-PPO 的本地控制器，用于预测动作。我们在未知的实验室环境中使用 Interbotix LoCoBot WX250 对提出的流程进行了评估，而无需进行任何细微调整，在真实世界中，我们的流程明显优于 SOTA VLN 基线。

Oct, 2023

该研究提出了一种基于人类导航行为的智能视觉语言导航策略，通过赋予代理人主动信息收集能力和学习探索策略来解决当前方法产生的不确定性问题和效率低下问题，实验证明该方法能显著提高导航性能。

Jul, 2020