本研究提出了一种跨域视觉地点识别任务，使用年龄不变的特征学习卷积神经网络和注意聚合模块实现跨域匹配不同领域中同一建筑物的图像，达到了 99% 的单域匹配和 20% 的跨域匹配的最佳成果。

Sep, 2019

通过构建语义空间地图和使用大型语言模型的强大推理能力，我们提出了一种新的方法 IVLMap，使机器人能够获得实例级和属性级的语义映射，从而实现了精确定位和零 - shot 端到端导航任务的能力，并在导航准确性上实现了 14.4% 的平均改进。

Mar, 2024

提出了 MVP 方法，该方法利用视觉感知和优化运动估计数据相结合，通过强化学习实现无人驾驶车辆的自主导航，相较于传统的仅利用视觉进行导航的方法，MVP 在大尺度环境下具有更高的学习速度、准确性和稳健性，同时克服了 GPS 数据的可靠性问题。

Mar, 2020

本研究介绍了一个大规模、多样化的 BnB VLN 数据集，并使用其进行预训练可以提高在各种 VLN 评估中的性能，特别是在挑战性的 few-shot VLN 评估上。

Aug, 2021

我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

Jul, 2023

本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

Oct, 2022

本研究提出采用混合拓扑度量图来实现视觉和语言导航，其中拓扑地图用于长期规划，度量地图用于短期推理，通过深度特征和预训练框架学习语言信息地图表示，增强了跨模态接地和促进最终的语言引导导航目标，实验证明了地图路线在 VLN 中的有效性，该方法在三个 VLN 基准测试中取得了最新的最佳效果。

Dec, 2022

本文提出了一种基于多视角摄像机图像的端到端视觉语义定位神经网络 BEV-Locator，并通过大规模 nuScenes 和 Qcraft 数据集的实验结果证明该方法能够有效地关联来自多视角图像和全局语义地图的跨模态信息，可以在多种场景下估计车辆姿态，实验结果表明其横向、长向平移和航向角度的平均绝对误差分别为 0.052m，0.135m 和 0.251 度。

Nov, 2022

本文介绍了一种新颖的方法来同时预测自动驾驶中车辆的位置和规模，这主要是通过使用多流递归神经网络编码器 - 解码器模型来实现，在该模型中，密集的光流加入了捕捉运动和外观变化信息的能力。此外，本文还发现明确建模车辆的未来运动可以提高预测准确性。

Sep, 2018

在本文中，我们提出了一个在真实世界中解决 VLN 任务的新型导航框架，该框架利用强大的基础模型，并包括四个关键组成部分：(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器，(2) 构建实时的视觉 - 语言地图以保持对未知环境的空间和语义理解的在线视觉 - 语言映射器，(3) 基于语言索引的定位器，将每个宏操作描述重新映射到地图上的路径点位置，以及 (4) 基于 DD-PPO 的本地控制器，用于预测动作。我们在未知的实验室环境中使用 Interbotix LoCoBot WX250 对提出的流程进行了评估，而无需进行任何细微调整，在真实世界中，我们的流程明显优于 SOTA VLN 基线。

Oct, 2023