CVPRDec, 2022

通过同时探索和识别实现 3D 感知的物体目标导航

PDF
TL;DR本文提出了一种基于二个子策略的框架，即 角落导向探索策略 和 类别感知识别策略，用于提高基于 3D 场景表示的目标导航能力，从而大大改善 ObjectNav 的性能，并在 Matterport3D 和 Gibson 数据集上实现最佳表现，同时训练时的计算成本较其他模块化方法降低了 (高达 30 倍)。
object goal navigation3d-aware agentspolicy learningcorner-guided exploration policycategory-aware identification policy
发现论文，激发创造
  • 递归隐式地图的目标导航

    我们在这篇论文中提出了一种隐式空间地图的目标导航方法，使用 transformer 递归更新隐式地图，并通过辅助任务训练模型，以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法，并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型，并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。

    Aug, 2023

  • 不训练你的龙：利用语义前沿进行无需训练的物体目标导航

    该篇论文介绍了一种模块化的训练免费方案，利用经典的 V-SLAM 框架构建结构化场景表示，并注入语义和统计信息，通过感知物体类别和语义信息指导智能体进行探索和导航任务。

    May, 2023

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • PEANUT: 预测和导航到未知目标

    本文提出了一种学习环境中空间和语义规律的简单方法，通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练，并可以在没有强化学习的情况下，将模型融入到 ObjectNav 的模块化流程中，该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。

    Dec, 2022

  • ObjectNav Revisited: 关于评估具有体验式智能的智能体导航到对象的研究

    研究重新访问 Object-Goal Navigation (ObjectNav) 问题，对任务进行了定义，提出了对评估标准、Agent 的具体参数、以及任务环境等细节的建议，并提供了在 Embodied AI workshop at CVPR 2020 上的具体实例。

    Jun, 2020

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 超越观察：一种 ObjectNav 的方法

    本文探究了如何利用多传感器数据融合和最先进的机器学习算法，实现名为视觉语义导航的任务，在不需要先验环境知识的情况下使用自我中心视觉观测来到达属于目标语义类别的物体。我们的方法在 Habitat Challenge 2021 ObjectNav 的 Minival 阶段和 Test-Standard 阶段中，取得了第四名的成绩。

    Jun, 2021

  • 在真实环境中使用混合策略进行多目标导航

    我们提出了一种混合导航方法，将多对象导航（Multi-ON）任务分解为两个不同的技能：（1）使用经典 SLAM 和符号规划器处理航路点导航，而（2）使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索，我们展示了该方法在模拟和真实环境中相对于端到端方法的优势，并超越了该任务的最先进技术。

    Jan, 2024

  • 自主场景重建的物体感知导航

    提出了一种自主三维扫描的新方法，它通过对象分析确定全局探测的下一个最佳对象（NBO），并通过对象感知信息分析来规划局部扫描的下一个最佳视图（NBV），从而实现了对未知场景的探索、重构和理解。

    May, 2018

  • Active Object Perceiver：基于识别引导的移动机器人目标搜索策略学习

    本文通过机器人视觉输入来学习其在室内环境中寻找感兴趣物体的导航策略，并提出了一种基于深度学习和强化学习的新型框架，结合了目标识别模块和动作预测机制，并使用一种新的衰减奖励函数来验证所提方法的有效性，通过模拟和实际机器人实验表明了其方法在平均轨迹长度和成功率方面优于竞争方法。

    Jul, 2018