CVPRNov, 2018

强化跨模态匹配和自监督模仿学习用于视觉语言导航

PDF
TL;DR本文提出 Reinforced Cross-Modal Matching 和 Self-Supervised Imitation Learning 两个方法来解决语视导航中的跨模态匹配、学习反馈以及泛化问题，并通过实验证明这两种方法较之前的方法显著提高了成功率和准确度。
vision-language navigationrlcross-modal matchinggeneralizationsil
发现论文，激发创造
  • 基于因果关系的跨模态表示学习在视觉和语言导航中的应用

    提出了一种基于因果学习范式的统一框架 CausalVLN，通过建立关于视觉和语言的结构因果模型 (SCM) 的合理假设，并引入视觉和语言门路因果编码器，在训练和验证期间实现无偏特征表达，增强了智能体在不同环境中的泛化能力，并在三个 VLN 数据集上的实验证明了该方法的优越性和显著缩小了在已知和未知环境之间的性能差距。

    Mar, 2024

  • 层次化跨模态机器人视觉语言导航智能体

    该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

    Apr, 2021

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • 视觉语言导航中可转移的表征学习

    我们的方法将预先训练的视觉和语言表示技术适应于相关领域的任务，通过在跨模态序列对齐和序列一致性任务中适应这些表示技术，从而提高了在 Room-to-Room（R2R） 带权路径成功率（SPL）度量方面的性能。

    Aug, 2019

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022

  • DELAN: 视觉与语言导航的双层对齐：跨模态对比学习

    通过交叉模态对比学习，我们提出了一个名为 Dual-levEL AligNment (DELAN) 的框架，用于在融合之前对齐各种与导航相关的模态，从而增强交叉模态交互和决策制定。我们的方法与现有模型无缝集成，显著提高了各种 Vision-and-Language navigation 审查的导航性能。

    Apr, 2024

  • 基于视觉导航和语言辅助的间接干预模仿学习

    本文提出了基于视觉感知和语言引导的导航任务，通过 Imitation Learning with Indirect Intervention（I3L）的框架实现了语言引导，有效提升了成功率。

    Dec, 2018

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 基于视频的 VLM 为视觉与语言导航规划下一步

    NaVid 是一个基于视频的大型视觉语言模型，通过动态的视频流输入，无需地图、测距仪和深度信息，实现了最先进水平的导航性能，解决了里程计噪声和模拟环境到真实环境之间的缺陷，同时有效地利用机器人的历史观察作为决策和指令遵循的时空背景，通过对 550k 个导航样本和 665k 个网络数据的训练，在模拟环境和真实世界中取得了非常好的性能，为导航代理和整个研究领域规划了下一步。

    Feb, 2024