CVPRApr, 2022

加强型结构化状态演进的视觉语言导航

PDF
TL;DR本文提出了一种新的结构化状态演化（SEvol）模型，采用基于图的特征来表示导航状态，利用增强学习策略通过 Reinforced Layout clues Miner（RLM）挖掘和检测关键的布局图，并通过结构演化模块（SEM）来维护结构化基于图的状态，从而提高了 Vision-and-language Navigation 任务的性能。
vision-and-language navigationstructured state-evolutiongraph-based featurereinforced layout clues minerstructured evolving module
发现论文，激发创造
  • 结构化场景记忆用于视觉语言导航

    提出一种名为结构化场景记忆（SSM）的模型架构，通过具有采集 - 读取控制器的全面行动空间和以前视经验的编码来辅助导航决策，并实现长程推理和全局规划，证明在 R2R 和 R4R 度量标准上实现了最先进的表现。

    Mar, 2021

  • 邻居视图增强的视觉语言导航模型

    本文提出了一种新的多模块的 Neighbor-View Enhanced Model (NvEM) 方法，通过利用相邻视图的视觉上下文信息和注意机制应对视觉和文本匹配不足的问题，并采用动作模块进行操纵指导，通过实验在 R2R 和 R4R 基准测试中展示了其效果的优越性。

    Jul, 2021

  • MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

    在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

    May, 2024

  • 一种用于导航的循环视觉语言 BERT 模型

    本文提出了一种基于递归 BERT 模型的视觉与语言导航方法，该方法能够达到最先进的结果，并同时支持导航和指代表达任务的并行处理。

    Nov, 2020

  • 视觉语言导航中可转移的表征学习

    我们的方法将预先训练的视觉和语言表示技术适应于相关领域的任务，通过在跨模态序列对齐和序列一致性任务中适应这些表示技术，从而提高了在 Room-to-Room（R2R） 带权路径成功率（SPL）度量方面的性能。

    Aug, 2019

  • 迭代式视觉语言导航

    本研究提出了一种名为 IVLN（迭代视觉语言导航）的新范例用于评估自然语言引导的智能体在具有持久环境的不同场景中的导航表现。

    Oct, 2022

  • 持续视觉与语言导航

    以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Episodic Self-Replay (ESR) 两种基于回放的新方法，通过广泛实验验证了所提方法的有效性。

    Mar, 2024

  • 视觉语言导航的软专家奖励学习

    本文提出了一个 Soft Expert Reward Learning（SERL）模型，该模型包含两个互补的组件：Soft Expert Distillation（SED）模块和 Self Perceiving（SP）模块，以解决 Vision-and-Language Navigation 任务中奖励工程和泛化问题，并在 VLN 领域的各种评估指标上打破了现有方法的记录。

    Jul, 2020

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 双语义感知循环全局自适应网络：用于视觉和语言导航

    该论文提出了一种双语义感知递归全局自适应网络（DSRG），包括指导语言模块和外貌 - 语义视觉模块，用于视觉和语言语义学习，以及全球自适应聚合模块和递归记忆融合模块，用于对全景观测进行显式内存融合。 虽然在 R2R 和 REVERIE 数据集上进行了广泛的实验，并证明该方法的实际性和有效性高于现有方法。

    May, 2023