本研究提出了一种针对Vision-and-Language Navigation中，不同类型自然语言信息处理的Object-and-Action Aware Model，并设计了一种简单但有效的路径损失函数，以优化机器人在导航中的方向选择。实验结果在R2R数据集的SPL得分和在R4R数据集中的CLS得分方面显著超过现有技术。

Jul, 2020

本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现Transformer模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

Mar, 2021

本文综述了Vision-and-Language Navigation（VLN）这一领域的现有研究，包括任务、评价指标、方法等，并通过结构化分析当前进展和挑战，强调了当前VLN的局限性和未来工作的机遇，是VLN研究社区的详尽参考。

Mar, 2022

本文介绍了数据扩充方法以改善现有的人工智能模型在VLN任务中性能表现不佳的问题，该方法利用了Matterport3D数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了8%。

Oct, 2022

通过与专家的讨论，我们引入了一种新的零射击视觉语言导航框架，命名为DiscussNav，能够有效地增强导航性能。

Sep, 2023

通过一系列的简单遮盖实验，揭示了某些高性能模型仅依赖于指令的名词标记，并提出了两种训练方法来缓解这个问题。

Nov, 2023

长期愿景是提高代理者和环境的感知、理解和交互能力，以实现具体导航的视觉-语言导航（VLN）作为实现具体导航的核心研究路径，关注代理者如何使用自然语言与人类进行有效沟通，接收和理解指令，并最终依靠视觉信息实现准确的导航。此综述系统回顾了VLN的研究进展并详细介绍了具体导航的研究方向，包括系统架构、基于方法的研究和常用基准数据集，全面分析了当前研究面临的问题和挑战，并探讨了该领域的未来发展方向，旨在为研究人员提供实用的参考。

Feb, 2024

Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP) integrates natural language and images in instructions, showing improved navigation performance through the use of multi-modal and visual prompts.

Jun, 2024

Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper introduces Human-Aware Vision-and-Language Navigation by incorporating dynamic human activities and relaxing key assumptions, utilizing the HA3D simulator, HA-R2R dataset, Expert-Supervised Cross-Modal, and Non-Expert-Supervised Decision Transformer agents for effective navigation in dynamic human environments.

Jun, 2024

本研究解决了智能体人工智能平台中模型庞大与计算能力有限之间的矛盾，专注于视觉与语言导航任务。提出的双阶段知识蒸馏框架有效捕捉了细粒度知识和导航特定知识，使得MiniVLN在参数量仅为教师模型12%的情况下，与教师模型的性能持平，展现了轻量级模型的巨大潜力。

Sep, 2024