我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

Jul, 2023

本文提出了一种基于车载摄像头图像的道路布局推断模型，同时构建了一个路况数据集，可以将导航地图的元数据与 Google 街景图像匹配以提供标签，并利用深度卷积网络训练该模型，结果表明该方法可用于提升基础设施安全性。

Nov, 2016

本研究提出了一种名为 NMP 的神经网络结构，能够自动更新全局地图并改善局部地图推理性能，实现了全局地图先验的初步学习。实验表明，该框架对各种地图分割和检测架构具有高度兼容性，并且即使在恶劣天气条件和较长的预测时间跨度内，也能显著增强地图预测性能。

Apr, 2023

本文介绍了一种将图像和预先构建的点云地图信息融合的方法来自动且准确地标记诸如道路、人行道、人行横道和车道等静态地标，并展示了该模型可以预测大部分道路特征并可以扩展用于自动将道路特征纳入高清地图。

Jun, 2020

提出了一种名为 MapNet 的深度神经网络，它将地图表示为一种数据驱动的方式，利用视觉里程计和 GPS 等常见的传感器数据来建立约束关系，从而提高相机定位的精确度和实现自监督式更新。在室内和室外数据集上进行的实验表明，该方法相较于之前的工作在性能上有了显著的提高。

Dec, 2017

我们提出了一种自动化技术，用于计算两个零层面的形状之间的映射，将语义对应的区域互相匹配。我们的方法通过多个视点渲染一对 3D 形状，然后将生成的渲染输入到一个现成的图像匹配方法中，以利用预训练的视觉模型生成特征点。这产生了语义对应，可以投射回 3D 形状，生成不准确且在不同视点之间不一致的原始匹配。这些对应通过专门的优化方案进行精炼和提炼，形成了一个表面间映射，促进了输出映射的双射性和连续性。我们证明了我们的方法可以生成语义表面到表面的映射，消除了手动注释或任何 3D 训练数据的需求。此外，它在具有高语义复杂性的情景中也证明了有效性，在这些情景下，物体是非等距的关系，以及在几乎等距的情况下。

Sep, 2023

人类善于形成心理地图以理解物体关系和通过语言查询导航；此论文通过提出基于 3D 的实例级方法提高语言引导任务的成功率，并在定量和定性结果上获得显著改善。

Apr, 2024

利用预训练自然语言模型的新框架，结合街景图像和机器学习，深入理解人类感知和场景感受之间的关系，并发现利用深层语义特征对于人类感知研究的重要性和解释力的提升。

Nov, 2023

本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

May, 2020

论文提出了 OrienterNet，这是一个可以使用 2D 语义地图对图像进行亚米级别本地化的深度神经网络，通过匹配神经鸟瞰与来自 OpenStreetMap 的开放和全球可用地图，可以使任何人在这些地图提供的地方进行本地化。 OrienterNet 通过监督相机姿势进行训练，但学习以端到端的方式执行与地图元素的语义匹配，具有广泛的泛化能力，代码和训练模型将公开发布。

Apr, 2023