ICCVSep, 2019

贝叶斯关系记忆在语义视觉导航中的应用

PDF
TL;DR使用新的记忆架构 Bayesian Relational Memory（BRM）结合概率关系图技术，使得机器人可以更好地在未知环境中实现语义视觉导航。BRM 模块和 goal-conditioned 定位模块共同组成一种 BRM 代理，可在测试时比未利用概率关系记忆结构的基线表现更出色。
bayesian relational memoryvisual navigationsemantic entitieslayout priorprobabilistic relation graph
发现论文，激发创造
  • 看见不可见：为房间导航学习语义图

    使用学习方法，结合语义地图进行室内导航，预测超出视野范围的置信度地图和目标点，模型可根据建筑模式和风格规律在新环境中进行导航，将房间导航任务简化为点导航可提高性能。

    Jul, 2020

  • MemoNav: 视觉导航的工作记忆模型

    MemoNav 是一种新型的内存模型，利用工作内存类似的流水线来提高图像目标导航的性能，通过三种类型的导航内存以及场景特征的学习和利用，使得代理能够学习并利用与目标相关的场景特征在拓扑图中进行高效导航，实验证明 MemoNav 在吉布森和 Matterport3D 场景的多目标任务中显著优于先前的方法，定性结果进一步说明 MemoNav 规划更高效的路径。

    Feb, 2024

  • 结构化场景记忆用于视觉语言导航

    提出一种名为结构化场景记忆（SSM）的模型架构，通过具有采集 - 读取控制器的全面行动空间和以前视经验的编码来辅助导航决策，并实现长程推理和全局规划，证明在 R2R 和 R4R 度量标准上实现了最先进的表现。

    Mar, 2021

  • 关系递归神经网络

    研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块 RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。

    Jun, 2018

  • 用于导航的半参数拓扑记忆

    提出了一种基于地标导航的新型内存结构，由非参数图和参数深层网络构成，用于规划导航系统，且在测试环境中表现比基线算法高三倍的成功率。

    Mar, 2018

  • 语言和视觉实体关系图用于智能体导航

    通过提出一种语言和视觉实体关系图及信息传递算法，成功解决了视觉和语言的跨模态关系，提升了在 Room-to-Room 和 Room-for-Room 测试数据集的表现。

    Oct, 2020

  • MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力

    在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引入导航思维链模块富化导航策略多样性，最终通过整合感知和动作预测模块建立了一个能提高大型语言模型导航能力和解释性的流水线。实验证明，该方法有效地增强了大型语言模型的导航能力并提高了导航推理的可解释性。

    May, 2024

  • 鸟瞰视角下的视觉语言导航场景图

    利用 BEV 场景图编码室内环境的场景布局和几何线索以解决视觉语言导航中对于三维场景几何和全景观察选择的限制，该方法在 REVERIE、R2R 和 R4R 数据集上显著优于现有方法，展示了 BEV 感知在视觉语言导航中的潜力。

    Aug, 2023

  • GridMM：视觉语言导航的网格存储映射

    通过构建自上而下的自我中心网格记忆地图 (GridMM) 来结构化所访问的环境，并提出了一种指令关联聚合方法来捕捉每个网格区域的细粒度视觉线索，实验证明该方法的优越性。

    Jul, 2023

  • 双语义感知循环全局自适应网络：用于视觉和语言导航

    该论文提出了一种双语义感知递归全局自适应网络（DSRG），包括指导语言模块和外貌 - 语义视觉模块，用于视觉和语言语义学习，以及全球自适应聚合模块和递归记忆融合模块，用于对全景观测进行显式内存融合。 虽然在 R2R 和 REVERIE 数据集上进行了广泛的实验，并证明该方法的实际性和有效性高于现有方法。

    May, 2023