Nov, 2019

低层次视觉语言导航的多模态注意力网络

PDF
TL;DR本文提出了一种基于全注意力机制的低层 VLN 架构，用于实现跨多个模态的长期路径规划，其中包括自然语言、图像和代理人的低级行为控制，实验结果表明其在两个数据集上均获得了良好的性能。
vision-and-language navigationperceive, transform, and actmulti-modalitylong-term dependencieslow-level vln
发现论文，激发创造
  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • 多模态变长记忆转换器用于视觉语言导航

    此篇研究提出了一种基于视觉和自然语言导航的多模态变长记忆转换器（MTVM）方法，用于模拟时间上下文，通过在存储器库中直接存储先前激活来跟踪导航轨迹，并提出了一种内存感知一致性损失来提高模型的性能。通过在 R2R 和 CVDN 数据集上的评估，该模型在验证集和测试集的成功率分别提高了 2％且将 CVDN 测试集的目标处理减少了 1.6m。

    Nov, 2021

  • MLANet：基于子指令的多级注意力网络，用于连续的视觉语言导航

    为了更好地在连续的虚拟现实环境中实现语音导航，本文提出了一个多层次的指令理解机制和一个名为 MLANet 的新模型，它包含子指令生成的快速算法 (FSA)、多层次关注模块 (MLA) 来调和指令和视觉信号，以及用于提高对当前子指令选择能力的峰值关注损失 (PAL)，实验结果表明 MLANet 优于基线模型。

    Mar, 2023

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 面向视觉和语言导航的历史感知多模态 Transformer

    通过引入一种历史感知的多模式转换器来将长期历史包含在多模式决策中，以在视觉和语言导航中构建自主的视觉代理，进而通过使用强化学习进一步优化导航策略。

    Oct, 2021

  • 视觉 - 语言导航生成预训练 Transformer

    在 Vision-and-Language Navigation (VLN) 领域中，我们提出了一种基于 Transformer 的生成预训练模型（VLN-GPT），通过建模轨迹序列依赖关系来增强效率，并在训练过程中采用离线预训练和在线优化的方法，性能评估表明 VLN-GPT 超越了复杂的基于编码器的模型。

    May, 2024

  • 具身视觉与语言导航中的动态卷积滤波器

    研究了在 Vision-and-Language Navigation 中，通过利用动态卷积滤波器对视觉信息和语言描述进行编码的方式，设计了一个新的策略，旨在解码为一系列低级的动作序列，与以前的方法相比，该策略在低级别行动空间中表现更佳，并尝试对近期的 VLN 工作进行了分类。

    Jul, 2019

  • 层次化跨模态机器人视觉语言导航智能体

    该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

    Apr, 2021

  • 使用 Transformer 的拓扑规划实现视觉语言导航

    本文介绍了一种基于模块化方法的视觉和语言导航技术，使用拓扑地图和注意机制来生成导航计划，并通过低级动作执行控制器实现。实验证明，该方法在自由遍历环境下优于以往的端到端方法。

    Dec, 2020

  • 为什么只用文本：用多模态提示增强视觉与语言导航

    Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP) integrates natural language and images in instructions, showing improved navigation performance through the use of multi-modal and visual prompts.

    Jun, 2024