CVPRMay, 2022

ADAPT: 视觉语言导航中的模态对齐行动提示

PDF
TL;DR本文提出了一种 Modality-Alignment Action Prompts (ADAPT) 方法，通过显式学习行动水平的模态对齐来实现对视觉环境下指令级操作的感知导航，并通过对高质量行动提示进行收集来提升对相关提示的对齐性。
vision-language navigationmodality-aligned action promptsmulti-modal inputsaction-level alignment knowledgecontrastive language-image pretraining
发现论文，激发创造
  • 为什么只用文本：用多模态提示增强视觉与语言导航

    Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP) integrates natural language and images in instructions, showing improved navigation performance through the use of multi-modal and visual prompts.

    Jun, 2024

  • DELAN: 视觉与语言导航的双层对齐：跨模态对比学习

    通过交叉模态对比学习，我们提出了一个名为 Dual-levEL AligNment (DELAN) 的框架，用于在融合之前对齐各种与导航相关的模态，从而增强交叉模态交互和决策制定。我们的方法与现有模型无缝集成，显著提高了各种 Vision-and-Language navigation 审查的导航性能。

    Apr, 2024

  • 基于提示的环境自主探索的视觉语言导航预训练

    本文提出了一种基于 Prompt 的自我探索方法，通过对环境进行采样来自动生成结构化的指导，从而构建了一个无需人工标注的本地数据集，并引入基于 Prompt 的学习来提高语言嵌入的学习效率，进而大大提高了视觉 - 语言导航模型的泛化能力。

    Mar, 2022

  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • DAP：面向领域感知的视觉与语言导航提示学习

    通过引入低成本提示调整范式来学习特定领域视觉提示，我们提出了一种新颖且模型无关的领域感知提示学习（DAP）框架，以在 VLN 任务中为预训练模型提供特定对象级和场景级跨模态对齐，并将领域内视觉知识以高效的方式注入预训练模型的视觉编码器。在 R2R 和 REVERIE 上的实验结果显示，DAP 相比现有的最先进方法具有明显的优势。

    Nov, 2023

  • 低层次视觉语言导航的多模态注意力网络

    本文提出了一种基于全注意力机制的低层 VLN 架构，用于实现跨多个模态的长期路径规划，其中包括自然语言、图像和代理人的低级行为控制，实验结果表明其在两个数据集上均获得了良好的性能。

    Nov, 2019

  • 行动原子概念学习：解析视觉语言导航

    本文提出了 Actional Atomic-Concept Learning（AACL），它通过将视觉观测映射到动作原子概念来简化 Vision-Language Navigation 中的观测 - 指令对齐问题。AACL 在细粒度和高级别的 VLN 基准测试中均取得了新的最优结果，并且可视化结果表明 AACL 显着提高了动作决策的可解释性。

    Feb, 2023

  • 面向物体和动作的视觉语言导航模型

    本研究提出了一种针对 Vision-and-Language Navigation 中，不同类型自然语言信息处理的 Object-and-Action Aware Model，并设计了一种简单但有效的路径损失函数，以优化机器人在导航中的方向选择。实验结果在 R2R 数据集的 SPL 得分和在 R4R 数据集中的 CLS 得分方面显著超过现有技术。

    Jul, 2020

  • 视觉 - 语言模型的多模态特征提示

    我们提出了一种多模态属性提示方法（MAP），通过同时探索文本属性提示、视觉属性提示和属性级对齐来解决大规模预训练视觉 - 语言模型（VLMs）在少样本情况下的一些局限性，实验结果表明我们的方法在 11 个数据集上表现优于现有方法。

    Mar, 2024

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021