Apr, 2023

减量化、再利用、回收利用：模块化多物体导航

PDF
TL;DR本文研究了多目标导航任务，通过四个模块（物体检测、语义地图构建、环境探索和导航）来解决此任务。结果表明，在 MultiON 任务中，采用 PointGoal 导航模型优于从头开始学习导航。与分析路径规划相比，基于 Agent 的导航模块表现更好。同时也探讨了探索策略并发现随机探索策略显著优于更高级的探索方法。我们还创建了 MultiON 2.0 数据集作为我们方法的测试平台。
发现论文，激发创造
  • 序列无关的多物体导航

    利用深度强化学习模型，基于无序的 actor-critic 框架和适当的奖励规范，提出了一个适用于多目标导航的机器人的算法，通过实验验证了这个方法在实践应用中胜过了预设顺序的方法和当下最先进的单个目标导航的方法。

    May, 2023

  • MultiON: 使用多对象导航基准测试语义地图记忆

    本文探讨了在三维环境中进行导航任务的挑战以及地图类记忆对导航任务的影响，提出了新的 MultiON 任务，通过一系列实验考察了不同复杂度任务下代理模型的表现，发现简单语义地图代理的表现相对更优，但神经图像特征地图代理和 oracle 地图代理也存在局限性，可能需要进一步的训练和研究。

    Dec, 2020

  • 在真实环境中使用混合策略进行多目标导航

    我们提出了一种混合导航方法，将多对象导航（Multi-ON）任务分解为两个不同的技能：（1）使用经典 SLAM 和符号规划器处理航路点导航，而（2）使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索，我们展示了该方法在模拟和真实环境中相对于端到端方法的优势，并超越了该任务的最先进技术。

    Jan, 2024

  • 基于障碍地图的物体导航的两阶段深度增强学习

    通过使用 RGB 和深度信息进行预训练以及在两阶段奖励训练下输出导航动作，本研究在视觉物体导航中显著提高了成功率和导航效率。

    Jun, 2024

  • 对象目标导航可重用抽象模型的在线学习

    本文介绍一种新的方法来逐步学习未知环境的抽象模型，并展示了一个智能体如何重复使用学习到的模型来解决目标导航任务，这个抽象模型是一个有限状态机，通过图像分割和 Taskonomy 模型库的利用可以把 RGB-D 图像这样的高维感知数据抽象成环境的不同状态，而通过实施动作、观察所到达的状态并更新抽象模型来完成了它的学习。我们的研究结果表明，利用所学的抽象模型可以提高目标导航的性能。

    Mar, 2022

  • 基于大型语言模型的房间 - 物体关系知识在增强多模态输入目标导航中的应用

    利用大型语言模型提取知识，我们在多通道 Swin-Unet 架构的基础上，使用数据驱动的、基于模块的方法进行多任务学习，从而实现了有效的目标导航，超过了基准模型平均 10.6% 的效率指标（SPL），并在现实世界的演示中展示了该方法在穿越多个房间时的高效性。

    Mar, 2024

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 基于潜力函数的无交互学习的目标导航

    该研究提出了基于无交互学习的潜在函数的模块化方法，旨在解决物体目标导航的计算资源和时间成本问题。通过训练预测两个互补潜在函数的网络，方法可以在不与环境交互的情况下决定何时寻找看不见的物体，进而实现 ObjectGoal 导航，证明该方法能够实现 ObjectGoal 导航的最新状态，并且训练成本可以降低多达 1600 倍。

    Jan, 2022

  • 零经验要求：语义视觉导航的即插即用模块化迁移学习

    本研究提出了一种采用新型模块化迁移学习模型的视觉导航统一方法。该模型可以有效地利用从一个源任务积累的经验并将其应用于多个目标任务（例如，ObjectNav、RoomNav、ViewNav）以及具有各种目标模态（例如，图像、草图、音频、标签）的目标任务，同时实现了零点经验学习，这让模型可以在不接收任何任务特定的交互式训练的情况下解决目标任务。实验结果表明，与现有最优算法相比，我们的方法可以更快地学习，实现更好的泛化，并获得了明显的性能优势。

    Feb, 2022

  • 通过同时探索和识别实现 3D 感知的物体目标导航

    本文提出了一种基于二个子策略的框架，即 角落导向探索策略 和 类别感知识别策略，用于提高基于 3D 场景表示的目标导航能力，从而大大改善 ObjectNav 的性能，并在 Matterport3D 和 Gibson 数据集上实现最佳表现，同时训练时的计算成本较其他模块化方法降低了 (高达 30 倍)。

    Dec, 2022