Aug, 2023

递归隐式地图的目标导航

PDF
TL;DR我们在这篇论文中提出了一种隐式空间地图的目标导航方法，使用 transformer 递归更新隐式地图，并通过辅助任务训练模型，以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法，并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型，并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。
object goal navigationimplicit spatial maptransformerauxiliary tasksreal-world demonstrations
发现论文，激发创造
  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 使用数据正则化 Q-Learning 进行目标导航

    该研究使用深度强化学习方法，通过增量构建语义地图和选择长期目标来实现目标导航，并通过数据增强和 Q 函数正则化等方法明显提高了模型性能。

    Aug, 2022

  • PEANUT: 预测和导航到未知目标

    本文提出了一种学习环境中空间和语义规律的简单方法，通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练，并可以在没有强化学习的情况下，将模型融入到 ObjectNav 的模块化流程中，该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。

    Dec, 2022

  • 不训练你的龙：利用语义前沿进行无需训练的物体目标导航

    该篇论文介绍了一种模块化的训练免费方案，利用经典的 V-SLAM 框架构建结构化场景表示，并注入语义和统计信息，通过感知物体类别和语义信息指导智能体进行探索和导航任务。

    May, 2023

  • 通过同时探索和识别实现 3D 感知的物体目标导航

    本文提出了一种基于二个子策略的框架，即 角落导向探索策略 和 类别感知识别策略，用于提高基于 3D 场景表示的目标导航能力，从而大大改善 ObjectNav 的性能，并在 Matterport3D 和 Gibson 数据集上实现最佳表现，同时训练时的计算成本较其他模块化方法降低了 (高达 30 倍)。

    Dec, 2022

  • 在真实环境中使用混合策略进行多目标导航

    我们提出了一种混合导航方法，将多对象导航（Multi-ON）任务分解为两个不同的技能：（1）使用经典 SLAM 和符号规划器处理航路点导航，而（2）使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索，我们展示了该方法在模拟和真实环境中相对于端到端方法的优势，并超越了该任务的最先进技术。

    Jan, 2024

  • 对象目标导航可重用抽象模型的在线学习

    本文介绍一种新的方法来逐步学习未知环境的抽象模型，并展示了一个智能体如何重复使用学习到的模型来解决目标导航任务，这个抽象模型是一个有限状态机，通过图像分割和 Taskonomy 模型库的利用可以把 RGB-D 图像这样的高维感知数据抽象成环境的不同状态，而通过实施动作、观察所到达的状态并更新抽象模型来完成了它的学习。我们的研究结果表明，利用所学的抽象模型可以提高目标导航的性能。

    Mar, 2022

  • 用于物体目标导航的对象记忆变换器

    本研究针对三维室内环境目标物体导航，提出了一种基于强化学习方法的 Object Memory Transformer (OMT). 通过本方法在 AI2-THOR 数据集上的实验结果表明，OMT 能够优于以往方法，高效地导航以及实现目标。

    Mar, 2022

  • 基于技能的视觉物体导航的交互式语义地图表示

    使用学习方法的视觉对象导航是移动机器人的关键任务之一，本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法，该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中，该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标，我们在 Habitat 环境中对所提出的方法进行了大量实验，在导航质量指标方面表现出明显的优势，与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。

    Nov, 2023