空间注意力视觉导航
该研究提出了一种基于记忆增强的注意力机制模型,利用序列记忆学习图像目标导航,模型表现优异,创造了新的最优结果。与相关工作不同的是,仅使用 RGB 图像输入,无需姿态 / 深度传感器等额外信息。
Jan, 2021
我们针对导航问题进行研究,提出了一种使用空间语义元素的神经代理导航模型,并探究了它们对导航代理的推理能力的影响。研究结果表明,指令中显式建模空间语义元素可以改善模型的基础和空间推理能力,并在已见及未见环境上取得了竞争性的性能。
May, 2021
本文提出了一种通过主动学习生成语义地图的框架,在未知环境下实现目标物体导航,通过在未观察区域内的语义类别的不确定性进行决策,实现了对场景中语义优先级的学习,并在 Matterport3D 数据库上验证了改进的导航效果。
Jun, 2021
我们提出了一种新颖的导航特定的视觉表示学习方法,通过对比代理的自我中心视图和语义地图(Ego$^2$-Map),将地图中的紧凑且丰富的信息转移到代理的自我中心表示中,从而实现室内导航。我们的实验结果表明,采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法,并且我们的表示显著改善了连续环境下的视觉和语言导航,在高级和低级行动空间上均取得了 47%的 SR 和 41%的 SPL 的最新最佳结果。
Jul, 2023
本文提出了一种使用语义决策使得服务机器人在室内环境中进行导航的架构和方法,使用 GeoSem 映射和以 RGB 为自我视角的相机感知。该方法通过考虑机器人的能动性和场景、物体及其关系的语义表示来指导机器人导航,实验结果表明该方法在游戏化评估中的平均完成时间上优于人类用户。
Oct, 2022
本文研究了在复杂的家庭环境中,物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型,该模型可以定量地利用场景和物体之间的相关性,从而能够实现导航模型的快速训练和更好的性能。
Aug, 2020
提出了一种无需外部监督或奖励的新方法,通过三个阶段,学习从图像输入进行导航:学习视角的良好表示,然后使用内存进行探索,最后通过设置自己的目标来学习导航。该模型仅使用内在奖励进行培训,因此适用于任何具有图像观察的环境。通过使用 RGB 输入训练代理在具有挑战性的 Gibson 数据集的逼真环境中导航的好处。
Apr, 2020
该论文介绍了一种针对目标导航任务的框架,其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入,以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间,机器人使用贝叶斯推断和空间关系图来估计可见区域,并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。
Aug, 2022
本研究主要探讨了如何在复杂环境下使用语义视觉导航技术,通过使用实时现成的高级语义和语境特征来训练深度神经网络的方式进行导航决策,并通过将现实和虚拟数据的特征表示结合起来提高模型的学习效果达到更高的导航性能。
May, 2018