COLINGApr, 2024

DELAN: 视觉与语言导航的双层对齐：跨模态对比学习

PDF
TL;DR通过交叉模态对比学习，我们提出了一个名为 Dual-levEL AligNment (DELAN) 的框架，用于在融合之前对齐各种与导航相关的模态，从而增强交叉模态交互和决策制定。我们的方法与现有模型无缝集成，显著提高了各种 Vision-and-Language navigation 审查的导航性能。
发现论文，激发创造
  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 强化跨模态匹配和自监督模仿学习用于视觉语言导航

    本文提出 Reinforced Cross-Modal Matching 和 Self-Supervised Imitation Learning 两个方法来解决语视导航中的跨模态匹配、学习反馈以及泛化问题，并通过实验证明这两种方法较之前的方法显著提高了成功率和准确度。

    Nov, 2018

  • 对比指导 - 轨迹学习用于视觉 - 语言导航

    本文提出了 Contrastive Instruction-Trajectory Learning（CITL）框架，通过粗粒度的对比学习和细粒度的对比学习目标来学习视觉和语言表示，同时采用逐对样本加权机制来增强模型的鲁棒性和泛化性，该方法在视觉和语言导航领域取得了最好的性能。

    Dec, 2021

  • 通过跨模态记忆进行视觉 - 对话导航

    本文提出了一种跨模态记忆网络（CMN），通过两个记忆模块（L-mem 和 V-mem）协同学习，实现了历史导航决策的探索，有效地解决了视觉对话导航中的语言意图处理问题，并在 CVDN 数据集上取得了显著的性能提升。

    Mar, 2020

  • 为什么只用文本：用多模态提示增强视觉与语言导航

    Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP) integrates natural language and images in instructions, showing improved navigation performance through the use of multi-modal and visual prompts.

    Jun, 2024

  • ADAPT: 视觉语言导航中的模态对齐行动提示

    本文提出了一种 Modality-Alignment Action Prompts (ADAPT) 方法，通过显式学习行动水平的模态对齐来实现对视觉环境下指令级操作的感知导航，并通过对高质量行动提示进行收集来提升对相关提示的对齐性。

    May, 2022

  • 基于地点实体的自适应预训练技术用于视觉与语言导航

    我们提出了一种新颖的基于实体 - 地标适应的预训练模型 (GELA)，用于实现细粒度的视听导航中不同模态信号的对齐。采用三个适应性预训练目标：实体短语预测，地标边界框预测和实体 - 地标语义一致性，该模型在两个任务中实现了最先进的结果，证明了其有效性和普适性。

    Aug, 2023

  • 基于因果关系的跨模态表示学习在视觉和语言导航中的应用

    提出了一种基于因果学习范式的统一框架 CausalVLN，通过建立关于视觉和语言的结构因果模型 (SCM) 的合理假设，并引入视觉和语言门路因果编码器，在训练和验证期间实现无偏特征表达，增强了智能体在不同环境中的泛化能力，并在三个 VLN 数据集上的实验证明了该方法的优越性和显著缩小了在已知和未知环境之间的性能差距。

    Mar, 2024

  • 低层次视觉语言导航的多模态注意力网络

    本文提出了一种基于全注意力机制的低层 VLN 架构，用于实现跨多个模态的长期路径规划，其中包括自然语言、图像和代理人的低级行为控制，实验结果表明其在两个数据集上均获得了良好的性能。

    Nov, 2019