Feb, 2024

NavHint: 具备提示生成器的视觉和语言导航智能体

PDF
TL;DR导航和语言导航的现有研究主要依赖于导航相关的损失，以建立视觉和语言模态之间的联系，忽视了帮助导航代理机构建立对视觉环境的深入理解的方面。在我们的工作中，我们通过提示生成器为导航代理提供间接监督，提供详细的视觉描述。提示生成器帮助导航代理机构开发对视觉环境的整体理解，指导代理机构注意相关的导航细节，包括相关的子指导、识别的潜在挑战和限制、以及目标视点描述。为了训练提示生成器，我们根据指导中的地标和可见的与众不同的物体构建了一个合成数据集。我们在 R2R 和 R4R 数据集上评估了我们的方法，并在几个度量标准上取得了最先进的结果。实验结果表明，生成提示不仅提高了导航性能，还有助于提高代理机构行动的可解释性。
vision and language navigationhint generatorvisual descriptionsnavigation agentinterpretability
发现论文，激发创造
  • VLN-Trans: 视觉语言导航代理翻译器

    通过设计一个翻译模块，将原有语句转化为易于理解的子语句，该模块针对航行代理的视觉能力和环境观察结果，聚焦于可识别和有区分性的地标，通过训练翻译器和导航代理的特定任务，达到了在多个基准测试中取得最新颖成果的目标。

    Feb, 2023

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 多模态大型语言模型用于视觉导航

    通过简单的文本提示、当前观察和历史收集模型，我们的方法在视觉导航中对大型语言模型进行了精细调优，训练模型使用了来自 Habitat-Matterport 3D 数据集（HM3D）的人类示范和碰撞信号，实验结果表明我们的方法优于最先进的行为克隆方法并有效地降低了碰撞率。

    Oct, 2023

  • 子任务感知的视觉语言导航

    本文提出了一个精细度更高的注释，以便在自然语言指令下更好地完成环境中的导航，为此使用了带有细致的注释的 Room-to-Room（R2R）基准数据集。并引入有效的子指令注意力和移位模块，在每个时间步选择并关注单个子指令，实现了此子指令模块，与四个最新的代理基线模型进行了比较，并展示了我们提出的方法改进了所有四个代理的性能。

    Apr, 2020

  • 关于视觉语言导航指令的评估

    该研究发现 BLEU、ROUGE、METEOR 和 CIDEr 指标无法有效评估基于视觉与语言的导航生成器自动生成的导航指令，提出了一种不依赖参考指令的指令 - 轨迹相容性模型，并建议在有参考指令时使用 SPICE 进行评估。

    Jan, 2021

  • 视觉与语言导航中的数据生成扩展

    通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了 80％，并将在已见和未见环境中导航的泛化差距降低到不到 1％。

    Jul, 2023

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 沿着风景路线前行：提高视觉语言导航的泛化能力

    通过对房间到房间的导航 (VLN) 基准进行研究，发现数据加工的方式很重要。我们发现最短路径采样在动作空间中编码偏见，从而解释了现有方法推广能力差的原因。为了减轻这种偏见，我们提出了一种基于随机游走的路径采样方法来增强数据，通过这种方法训练代理，其相比基线，能够更好地推广到未知环境，从而显着提高模型性能。

    Mar, 2020