基于目标导向语义探索的目标导航
该篇论文介绍了一种模块化的训练免费方案,利用经典的 V-SLAM 框架构建结构化场景表示,并注入语义和统计信息,通过感知物体类别和语义信息指导智能体进行探索和导航任务。
May, 2023
本文提出了一种通过主动学习生成语义地图的框架,在未知环境下实现目标物体导航,通过在未观察区域内的语义类别的不确定性进行决策,实现了对场景中语义优先级的学习,并在 Matterport3D 数据库上验证了改进的导航效果。
Jun, 2021
我们在这篇论文中提出了一种隐式空间地图的目标导航方法,使用 transformer 递归更新隐式地图,并通过辅助任务训练模型,以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法,并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型,并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。
Aug, 2023
该研究使用深度强化学习方法,通过增量构建语义地图和选择长期目标来实现目标导航,并通过数据增强和 Q 函数正则化等方法明显提高了模型性能。
Aug, 2022
我们提出了一种优先语义学习(PSL)方法,通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力,并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外,针对流行的 HM3D 环境,我们提出了一个实例导航(InstanceNav)任务,需要根据详细描述前往特定的对象实例,与仅通过目标类别定义目标的对象导航(ObjectNav)任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66%,并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布:science/r/PSL/。
Mar, 2024
本文研究了零样本对象目标视觉导航任务,并提出了一种基于语义相似性网络的新型框架,用于在未训练过的类中引导机器人查找目标,通过在 AI2-THOR 平台上进行了广泛的实验,证明了我们模型的一般化能力强于基线模型。
Jun, 2022
本文提出了一种学习环境中空间和语义规律的简单方法,通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练,并可以在没有强化学习的情况下,将模型融入到 ObjectNav 的模块化流程中,该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。
Dec, 2022
本文提出了一种使用语义决策使得服务机器人在室内环境中进行导航的架构和方法,使用 GeoSem 映射和以 RGB 为自我视角的相机感知。该方法通过考虑机器人的能动性和场景、物体及其关系的语义表示来指导机器人导航,实验结果表明该方法在游戏化评估中的平均完成时间上优于人类用户。
Oct, 2022
本文提出了一种层次化学习方法,包括高层的规划和记忆以及低层的房间导航和物品寻找,通过简单的合成语言为代理提供指令,同时使用另一个目标评估模块将指令映射到视觉观察中。在一个动态可配置的家庭环境中验证了该方法的有效性。
Nov, 2022
本研究致力于解决机器人在三维物体场景中远距离导航的问题,通过引入一种新的基于图反向传播的算法提高了导航的准确性并在包括 objective ambiguity 的复杂环境中进行了测试。
Mar, 2021