CVPRFeb, 2024

MemoNav: 视觉导航的工作记忆模型

PDF
TL;DRMemoNav 是一种新型的内存模型，利用工作内存类似的流水线来提高图像目标导航的性能，通过三种类型的导航内存以及场景特征的学习和利用，使得代理能够学习并利用与目标相关的场景特征在拓扑图中进行高效导航，实验证明 MemoNav 在吉布森和 Matterport3D 场景的多目标任务中显著优于先前的方法，定性结果进一步说明 MemoNav 规划更高效的路径。
image-goal navigationscene memoriesmemory modelnavigation performanceworking memory
发现论文，激发创造
  • MemoNav: 为视觉导航选择信息性记忆

    本研究提出了一种新的记忆机制 MemoNav，它通过保留有信息的短期记忆和长期记忆来提高多目标任务下图像目标导航的性能。实验结果表明，MemoNav 方法与最先进的方法相比，在使用更少的导航历史记录的情况下取得了更好的性能，并且更不容易被困在死结中。

    Aug, 2022

  • 基于记忆增强的强化学习在图像目标导航中的应用

    该研究提出了一种基于记忆增强的注意力机制模型，利用序列记忆学习图像目标导航，模型表现优异，创造了新的最优结果。与相关工作不同的是，仅使用 RGB 图像输入，无需姿态 / 深度传感器等额外信息。

    Jan, 2021

  • 通过跨模态记忆进行视觉 - 对话导航

    本文提出了一种跨模态记忆网络（CMN），通过两个记忆模块（L-mem 和 V-mem）协同学习，实现了历史导航决策的探索，有效地解决了视觉对话导航中的语言意图处理问题，并在 CVDN 数据集上取得了显著的性能提升。

    Mar, 2020

  • MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

    在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

    May, 2024

  • 神经拓扑 SLAM 用于视觉导航

    本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

    May, 2020

  • MultiON: 使用多对象导航基准测试语义地图记忆

    本文探讨了在三维环境中进行导航任务的挑战以及地图类记忆对导航任务的影响，提出了新的 MultiON 任务，通过一系列实验考察了不同复杂度任务下代理模型的表现，发现简单语义地图代理的表现相对更优，但神经图像特征地图代理和 oracle 地图代理也存在局限性，可能需要进一步的训练和研究。

    Dec, 2020

  • 结构化场景记忆用于视觉语言导航

    提出一种名为结构化场景记忆（SSM）的模型架构，通过具有采集 - 读取控制器的全面行动空间和以前视经验的编码来辅助导航决策，并实现长程推理和全局规划，证明在 R2R 和 R4R 度量标准上实现了最先进的表现。

    Mar, 2021

  • 用于物体目标导航的对象记忆变换器

    本研究针对三维室内环境目标物体导航，提出了一种基于强化学习方法的 Object Memory Transformer (OMT). 通过本方法在 AI2-THOR 数据集上的实验结果表明，OMT 能够优于以往方法，高效地导航以及实现目标。

    Mar, 2022

  • 导航至特定图像所指示的对象

    本研究介绍了一个可以在仿真和现实实现物体到达任务的系统，该系统采用模块化方法解决了探索、目标识别、目标定位和本地导航等子任务，无需任何微调，实现了较高的成功率，并在移动机器人平台上展示了有效的实际性能。

    Apr, 2023

  • GridMM：视觉语言导航的网格存储映射

    通过构建自上而下的自我中心网格记忆地图 (GridMM) 来结构化所访问的环境，并提出了一种指令关联聚合方法来捕捉每个网格区域的细粒度视觉线索，实验证明该方法的优越性。

    Jul, 2023