ICLRAug, 2022

MemoNav: 为视觉导航选择信息性记忆

PDF
TL;DR本研究提出了一种新的记忆机制 MemoNav，它通过保留有信息的短期记忆和长期记忆来提高多目标任务下图像目标导航的性能。实验结果表明，MemoNav 方法与最先进的方法相比，在使用更少的导航历史记录的情况下取得了更好的性能，并且更不容易被困在死结中。
image-goal navigationmemonavmemory mechanismshort-term memorylong-term memory
发现论文，激发创造
  • MemoNav: 视觉导航的工作记忆模型

    MemoNav 是一种新型的内存模型，利用工作内存类似的流水线来提高图像目标导航的性能，通过三种类型的导航内存以及场景特征的学习和利用，使得代理能够学习并利用与目标相关的场景特征在拓扑图中进行高效导航，实验证明 MemoNav 在吉布森和 Matterport3D 场景的多目标任务中显著优于先前的方法，定性结果进一步说明 MemoNav 规划更高效的路径。

    Feb, 2024

  • 基于记忆增强的强化学习在图像目标导航中的应用

    该研究提出了一种基于记忆增强的注意力机制模型，利用序列记忆学习图像目标导航，模型表现优异，创造了新的最优结果。与相关工作不同的是，仅使用 RGB 图像输入，无需姿态 / 深度传感器等额外信息。

    Jan, 2021

  • 通过跨模态记忆进行视觉 - 对话导航

    本文提出了一种跨模态记忆网络（CMN），通过两个记忆模块（L-mem 和 V-mem）协同学习，实现了历史导航决策的探索，有效地解决了视觉对话导航中的语言意图处理问题，并在 CVDN 数据集上取得了显著的性能提升。

    Mar, 2020

  • 图像目标导航的变形金刚

    利用生成式 Transformer 模型，通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作，从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。

    May, 2024

  • MultiON: 使用多对象导航基准测试语义地图记忆

    本文探讨了在三维环境中进行导航任务的挑战以及地图类记忆对导航任务的影响，提出了新的 MultiON 任务，通过一系列实验考察了不同复杂度任务下代理模型的表现，发现简单语义地图代理的表现相对更优，但神经图像特征地图代理和 oracle 地图代理也存在局限性，可能需要进一步的训练和研究。

    Dec, 2020

  • 用于物体目标导航的对象记忆变换器

    本研究针对三维室内环境目标物体导航，提出了一种基于强化学习方法的 Object Memory Transformer (OMT). 通过本方法在 AI2-THOR 数据集上的实验结果表明，OMT 能够优于以往方法，高效地导航以及实现目标。

    Mar, 2022

  • 神经拓扑 SLAM 用于视觉导航

    本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

    May, 2020

  • MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

    在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

    May, 2024

  • 利用鼹鼠学习：可转移的潜在空间表示，实现无需重建的导航

    本研究提出通过盲辅助代理训练学习场景的可操作表示，用于导航决策，并且经实验证明该学习表示方式在处理复杂环境及从模拟到真实场景的转换时具有很好的鲁棒性。

    Jun, 2023

  • SayNav: 动态规划中基于大型语言模型的导航

    基于大型语言模型的新方法 SayNav，通过建立探索环境的三维场景图，生成高级导航计划，并利用预训练的低级规划器逐步执行，动态生成导航过程中的指令并根据新感知信息不断改进步骤，有效在大规模新环境中定位多个不同物体。

    Sep, 2023