Mar, 2020

学习目标导航的层次关系

PDF
TL;DR该研究提出了一种基于目标导向的导航算法 MJOLNIR，利用对象之间的关系和环境 context 来进行目标定位，相较于现有方法，在多种环境下实现了 82.9% 和 93.5% 的更高成功率和更短路径长度，并且收敛速度更快，并避免了过拟合问题。
发现论文，激发创造
  • 基于大型语言模型的房间 - 物体关系知识在增强多模态输入目标导航中的应用

    利用大型语言模型提取知识，我们在多通道 Swin-Unet 架构的基础上，使用数据驱动的、基于模块的方法进行多任务学习，从而实现了有效的目标导航，超过了基准模型平均 10.6% 的效率指标（SPL），并在现实世界的演示中展示了该方法在穿越多个房间时的高效性。

    Mar, 2024

  • 通过指导提升结构化探索实现物体导航

    本文提出了一种层次化学习方法，包括高层的规划和记忆以及低层的房间导航和物品寻找，通过简单的合成语言为代理提供指令，同时使用另一个目标评估模块将指令映射到视觉观察中。在一个动态可配置的家庭环境中验证了该方法的有效性。

    Nov, 2022

  • 利用场景特定特征进行物体目标导航

    本文研究了在复杂的家庭环境中，物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型，该模型可以定量地利用场景和物体之间的相关性，从而能够实现导航模型的快速训练和更好的性能。

    Aug, 2020

  • 移动机器人多目标协作交互式搜索层次学习

    本文介绍了一种新颖的交互式多对象搜索任务，并提出了一种层次强化学习方法，学习探索、导航和操作技能，该方法在模拟和实际的实验中展示了零样本迁移和对不同机器人运动学的适应性。

    Jul, 2023

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 递归隐式地图的目标导航

    我们在这篇论文中提出了一种隐式空间地图的目标导航方法，使用 transformer 递归更新隐式地图，并通过辅助任务训练模型，以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法，并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型，并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。

    Aug, 2023

  • 面向任务的图注意力层次关系对象导航

    本研究基于场景图作为输入，以图神经网络为主干，集成任务驱动的注意机制，探寻分层关系对象导航任务，并证明其比现有技术有更好的可扩展性和学习效率。

    Jun, 2023

  • 学习空间和时间的层次结构：多房间迷宫环境中的层次化主动推理导航

    介绍了一种层次感知模型，结合认知地图、空间感知和位置运动，通过基于像素的观察推断出环境结构，并能在迷你格环境中进行高效探索和目标导向搜索。

    Sep, 2023

  • 学习目标关系图与初步策略用于视觉导航

    该论文提出了三种相互补充的技术：目标驱动的视觉导航、对象关系图、试验驱动的模仿学习和记忆增强型随机策略网络，它们针对学习有效的视觉表征和强大的导航策略进行了优化，在人工环境 AI2-Thor 中验证了技术的有效性，其中每一项技术的有效性都得到了证明。该方法在未知环境中有效地提高了导航效率和效果。成功率和成功路径长度 (SPL) 分别提高了 22.8% 和 23.5%。

    Jul, 2020

  • 语言增强对目标導向物体导航中的捷径学习问题进行应对

    深度强化学习在目标导航中面临了捷径学习的问题，我们提出了一种基于语言的增强方法，利用视觉 - 语言模型的多模态特征空间，在特征层面上增强视觉表示，成功解决了捷径学习的挑战。

    Feb, 2024