通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

该研究基于新增的汉语指令，研究了即使在零样本学习的情况下，使用现有的英语指令进行训练的代理人如何有效地导航，并显示了竞争结果。

Oct, 2019

本文提出了一种新的导航代理程序，利用依赖树派生的句法信息增强指令和当前视觉场景之间的对齐，显著提高了在Room-to-Room数据集上的性能，同时在Room-Across-Room数据集上取得了新的最高性能水平。

Apr, 2021

本论文提出了一个基于transformer的视觉与语言导航（VLN）代理，使用两种不同的视觉编码器，即场景分类网络和对象检测器，它们能匹配这两种不同类型的视觉提示，进而通过视觉和语言的预训练实现通向Room-to-Room（R2R）和Room-Across-Room（RxR）存在显著改进的效果。

Oct, 2021

本篇论文主要研究利用360度图像生成室内路线的导航指令，通过提取关键地标并用多语言图像-文本编码器进行泛化训练，在英语、印地语和特鲁古语语言环境下，MARKY-MT5系统可以提供与人类导航指令75%相近的娴熟指导，显示出较高的性能和应用价值。

Nov, 2021

该研究提出了CLEAR（跨语言和环境无关表示）方法，通过学习跨语言和环境无关的引导方法，解决了Vision-and-Language Navigation任务中的难题，并在Room-Across-Room数据集中证明了该方法的有效性。

Jul, 2022

本研究提出了一种名为IVLN（迭代视觉语言导航）的新范例用于评估自然语言引导的智能体在具有持久环境的不同场景中的导航表现。

Oct, 2022

利用360度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单Transformer模型，本文介绍了一种新的方式——合成指令及大规模模仿学习来提高代理程序。

Oct, 2022

UVLN (Universal Vision-Language Navigation)是一种新颖的增强型机器翻译指令框架，利用大型语言模型（GPT3）和图像标题模型（BLIP）的新颖组合，将传统的指令跟随代理推广到多语言和低资源语言等复杂领域，将不同语言之间的对齐通过跨模态变压器，对语言指令、视觉观察和动作决策序列进行编码、捕获和传递。

May, 2023

通过系统性地将3D视觉语言学习在室内环境中进行有序提升，本研究旨在解决3D视觉语言面临的三个主要挑战，包括复杂的3D场景、缺乏数据支持和缺乏统一的学习框架，并通过引入包含约68K个3D室内场景的场景语料库SceneVerse以及基于可扩展的场景图生成方法获取的约2.5M个视觉语言对，展示了Grounded Pre-training for Scenes (GPS)的有效性，通过在所有现有的3D视觉定位基准上取得了最先进的性能，并在具有挑战性的3D视觉语言任务的零样本迁移实验中揭示了SceneVerse和GPS的巨大潜力。

Jan, 2024