零样本物体导向视觉导航
本研究探讨了无目标目标视觉导航问题。我们提出了一种称为无类关系网络(CIRN)的方法,将目标检测信息与目标与导航目标之间的相对语义相似性结合起来,构建了一种基于相似性排名的全新状态表示,有效地将智能体的导航能力与目标特征分离。我们的方法在 AI2-THOR 虚拟环境中的广泛实验中表现出了强大的泛化能力,包括使用不同目标和环境的零样本导航任务。同时,我们在更具挑战性的跨目标和跨场景设置中进行了实验证明了我们方法的稳健性和泛化能力。
Oct, 2023
我们提出了一种优先语义学习(PSL)方法,通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力,并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外,针对流行的 HM3D 环境,我们提出了一个实例导航(InstanceNav)任务,需要根据详细描述前往特定的对象实例,与仅通过目标类别定义目标的对象导航(ObjectNav)任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66%,并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布:science/r/PSL/。
Mar, 2024
该研究提出了 Goal-Oriented Semantic Exploration 系统,通过构建基于目标对象类别的情节语义地图来有效探索环境,该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。
Jul, 2020
该篇论文介绍了一种模块化的训练免费方案,利用经典的 V-SLAM 框架构建结构化场景表示,并注入语义和统计信息,通过感知物体类别和语义信息指导智能体进行探索和导航任务。
May, 2023
提出了一种目标导向的注意网络(TDANet),用于学习具有零 - shot 能力的端到端目标导向视觉导航策略,并通过在 AI2-THOR 环境中进行的大量实验验证了 TDANet 的导航性能,其在未见过的场景和目标对象上表现出较高的导航成功率和成功率加权长度,优于其他最先进的模型。
Apr, 2024
该研究使用深度强化学习方法,通过增量构建语义地图和选择长期目标来实现目标导航,并通过数据增强和 Q 函数正则化等方法明显提高了模型性能。
Aug, 2022
该论文介绍了一种针对目标导航任务的框架,其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入,以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间,机器人使用贝叶斯推断和空间关系图来估计可见区域,并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。
Aug, 2022
本研究提出了一种采用新型模块化迁移学习模型的视觉导航统一方法。该模型可以有效地利用从一个源任务积累的经验并将其应用于多个目标任务(例如,ObjectNav、RoomNav、ViewNav)以及具有各种目标模态(例如,图像、草图、音频、标签)的目标任务,同时实现了零点经验学习,这让模型可以在不接收任何任务特定的交互式训练的情况下解决目标任务。实验结果表明,与现有最优算法相比,我们的方法可以更快地学习,实现更好的泛化,并获得了明显的性能优势。
Feb, 2022
本文研究图像目标导航问题,提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案,在视觉和物理仿真实验中部署该算法,与现有方法相比,在长时间任务中呈现出 50%以上的相对提高。
May, 2020
本文提出了一种学习环境中空间和语义规律的简单方法,通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练,并可以在没有强化学习的情况下,将模型融入到 ObjectNav 的模块化流程中,该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。
Dec, 2022