Mar, 2024

基于层次空间接近原理的视觉语言导航

PDF
TL;DR该论文提出了一种基于 Hierarchical Spatial Proximity Reasoning（HSPR）模型的视觉语言导航算法，通过引入 Scene Understanding Auxiliary Task（SUAT）来构建空间接近性知识库，利用 Multi-step Reasoning Navigation Algorithm（MRNA）进行路径规划，并通过引入 Proximity Adaptive Attention Module（PAAM）和 Residual Fusion Method（RFM）提高导航决策的准确性。实验证明了该方法的有效性。
vision-and-language navigationhierarchical spatial proximity reasoningscene understanding auxiliary taskmulti-step reasoning navigation algorithmproximity adaptive attention module
发现论文，激发创造
  • 利用自监督辅助推理任务的视觉语言导航

    本文提出了一种基于自我监督的辅助推理导航（AuxRN）框架，使用四个辅助推理任务来利用语义信息，通过这些额外训练信号来帮助代理获取语义表示的知识以便进行推理，进而建立对环境的全面感知，该方法在标准基准测试中实现了最佳效果，显著优于现有的最先进方法。

    Nov, 2019

  • 面向视觉与语言导航的时空物体关系建模

    利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

    Mar, 2024

  • 知识增强的视觉语言导航推理

    本文提出了一种基于 Knowledge Enhanced Reasoning Model （KERM）的 Vision-and-language navigation (VLN) 模型，通过整合从语言描述中提取出来的知识，结合视觉、历史、指令和事实特征，提高了实体代理从自然语言指令中导航到远程位置的能力，并在三个数据集上进行的实验结果证明了该方法的有效性。

    Mar, 2023

  • MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

    在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

    May, 2024

  • 连续的视觉语言导航中的前瞻探索及神经辐射表示

    利用预训练的分层神经辐射表示模型产生多层次语义特征，用于预测未来环境，提出前瞻导航模型以构建可导航的未来路径树并通过有效的并行评估选择最佳路径。

    Apr, 2024

  • 未知之地：生成新环境的地理描述

    通过构建基于地理空间数据的知识图谱，利用上下文无关文法（CFG）和大型语言模型 (LLM) 生成导航指令，本研究提出了一种用于生成高质量合成数据的大规模增强方法，以解决新环境下训练数据不足的问题。结果显示，通过 CFG 增强训练的模型在未知环境和已知环境中均取得了更优异的性能，这表明在未知领域中，显式结构化空间信息的文本地理推理具有潜在的优势，可以应用于数据稀缺的场景。

    Jun, 2024

  • 双语义感知循环全局自适应网络：用于视觉和语言导航

    该论文提出了一种双语义感知递归全局自适应网络（DSRG），包括指导语言模块和外貌 - 语义视觉模块，用于视觉和语言语义学习，以及全球自适应聚合模块和递归记忆融合模块，用于对全景观测进行显式内存融合。 虽然在 R2R 和 REVERIE 数据集上进行了广泛的实验，并证明该方法的实际性和有效性高于现有方法。

    May, 2023

  • 人类感知视觉 - 语言导航：通过动态人类交互缩小模拟与现实之间的鸿沟

    Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper introduces Human-Aware Vision-and-Language Navigation by incorporating dynamic human activities and relaxing key assumptions, utilizing the HA3D simulator, HA-R2R dataset, Expert-Supervised Cross-Modal, and Non-Expert-Supervised Decision Transformer agents for effective navigation in dynamic human environments.

    Jun, 2024

  • 通过对空间配置进行推理实现导航

    我们针对导航问题进行研究，提出了一种使用空间语义元素的神经代理导航模型，并探究了它们对导航代理的推理能力的影响。研究结果表明，指令中显式建模空间语义元素可以改善模型的基础和空间推理能力，并在已见及未见环境上取得了竞争性的性能。

    May, 2021

  • 视觉语言导航中可转移的表征学习

    我们的方法将预先训练的视觉和语言表示技术适应于相关领域的任务，通过在跨模态序列对齐和序列一致性任务中适应这些表示技术，从而提高了在 Room-to-Room（R2R） 带权路径成功率（SPL）度量方面的性能。

    Aug, 2019