本论文通过使用自监督的辅助任务(例如,预测两个自我中心观察之间采取的动作,预测轨迹中两个观察之间的距离等),并使用注意力机制组合个任务得到的表示向量,成功地提高了 PointNav 任务的样本和时间效率,超过了以前的最新研究成果,并在 40M 帧时将 DD-PPO 的性能提升了 0.16SPL。
Jul, 2020
研究重新访问 Object-Goal Navigation (ObjectNav) 问题,对任务进行了定义,提出了对评估标准、Agent 的具体参数、以及任务环境等细节的建议,并提供了在 Embodied AI workshop at CVPR 2020 上的具体实例。
Jun, 2020
利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务,可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现
Nov, 2016
我们在这篇论文中提出了一种隐式空间地图的目标导航方法,使用 transformer 递归更新隐式地图,并通过辅助任务训练模型,以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法,并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型,并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。
Aug, 2023
本文探究了如何利用多传感器数据融合和最先进的机器学习算法,实现名为视觉语义导航的任务,在不需要先验环境知识的情况下使用自我中心视觉观测来到达属于目标语义类别的物体。我们的方法在 Habitat Challenge 2021 ObjectNav 的 Minival 阶段和 Test-Standard 阶段中,取得了第四名的成绩。
Jun, 2021
本文提出了一种基于二个子策略的框架,即 角落导向探索策略 和 类别感知识别策略,用于提高基于 3D 场景表示的目标导航能力,从而大大改善 ObjectNav 的性能,并在 Matterport3D 和 Gibson 数据集上实现最佳表现,同时训练时的计算成本较其他模块化方法降低了 (高达 30 倍)。
Dec, 2022
该研究提出了 Goal-Oriented Semantic Exploration 系统,通过构建基于目标对象类别的情节语义地图来有效探索环境,该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。
本文提出了一种学习环境中空间和语义规律的简单方法,通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练,并可以在没有强化学习的情况下,将模型融入到 ObjectNav 的模块化流程中,该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。
本文研究了在复杂的家庭环境中,物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型,该模型可以定量地利用场景和物体之间的相关性,从而能够实现导航模型的快速训练和更好的性能。
Aug, 2020
深度强化学习在目标导航中面临了捷径学习的问题,我们提出了一种基于语言的增强方法,利用视觉 - 语言模型的多模态特征空间,在特征层面上增强视觉表示,成功解决了捷径学习的挑战。
Feb, 2024