主动语义目标导航的映射学习

Jun, 2021

Learning to Map for Active Semantic Goal Navigation

Georgios Georgakis, Bernadette Bucher, Karl Schmeckpeper, Siddharth Singh, Kostas Daniilidis

TL;DR本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

Abstract

We consider the problem of object goal navigation in unseen environments. Solving this problem requires learning of contextual semantic priors, a challenging endeavour given the spatial and semantic variability o

object goal navigation contextual semantic priors semantic maps spatial prediction strategy exploration vs exploitation

发现论文，激发创造

基于目标导向语义探索的目标导航

该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

Jul, 2020

使用语义地图监督学习导航视觉表征

我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

Jul, 2023

PEANUT: 预测和导航到未知目标

本文提出了一种学习环境中空间和语义规律的简单方法，通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练，并可以在没有强化学习的情况下，将模型融入到 ObjectNav 的模块化流程中，该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。

Dec, 2022

递归隐式地图的目标导航

我们在这篇论文中提出了一种隐式空间地图的目标导航方法，使用 transformer 递归更新隐式地图，并通过辅助任务训练模型，以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法，并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型，并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。

Aug, 2023

在室内环境中进行高层语义区域划分而无需物体识别

通过室内环境中的具身导航，提出了一种语义区域绘图的方法，通过视觉 - 语言模型向导绘图，将自身场景理解映射到全局框架上，生成具有高级代理知识的语义地图，实现自主地图生成。在逼真模拟器的实验中，该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。

Mar, 2024

看见不可见：为房间导航学习语义图

使用学习方法，结合语义地图进行室内导航，预测超出视野范围的置信度地图和目标点，模型可根据建筑模式和风格规律在新环境中进行导航，将房间导航任务简化为点导航可提高性能。

Jul, 2020

使用场景先验知识的视觉语义导航

本文通过使用图卷积网络和深度强化学习框架将语义先验知识纳入到语义导航的任务中，证明语义知识如何显著提高性能并改善对未知场景和 / 或对象的泛化能力。

Oct, 2018

不训练你的龙：利用语义前沿进行无需训练的物体目标导航

该篇论文介绍了一种模块化的训练免费方案，利用经典的 V-SLAM 框架构建结构化场景表示，并注入语义和统计信息，通过感知物体类别和语义信息指导智能体进行探索和导航任务。

May, 2023

神经拓扑 SLAM 用于视觉导航

本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

May, 2020

零样本实例导航的优先语义学习

我们提出了一种优先语义学习（PSL）方法，通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力，并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外，针对流行的 HM3D 环境，我们提出了一个实例导航（InstanceNav）任务，需要根据详细描述前往特定的对象实例，与仅通过目标类别定义目标的对象导航（ObjectNav）任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66％，并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布：science/r/PSL/。

Mar, 2024