DeLS-3D: 3D 语义地图的深度定位与分割

CVPRMay, 2018

DeLS-3D: 3D 语义地图的深度定位与分割

DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map

Peng Wang, Ruigang Yang, Binbin Cao, Wei Xu, Yuanqing Lin

TL;DR该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

Abstract

For applications such as autonomous driving, self-localization/camera pose estimation and scene parsing are crucial technologies. In this paper, we propose a unified framework to tackle these two problems simulta

self-localization camera pose estimation scene parsing sensor fusion deep learning

发现论文，激发创造

单目 SLAM 的半稠密三维语义映射

本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

Nov, 2016

SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

Sep, 2016

使用稀疏语义 3D 地图的视觉定位

本文提出了一种基于结构和图像的语义匹配方法，能够在诸如季节、亮度、天气和昼夜变化等多种条件下实现准确和稳健的视觉定位，实验证明该方法相较于现有技术有显著的提升。

Apr, 2019

使用在合成 RGB-D 上训练的深度网络实现语义姿态

通过深度卷积神经网络实现室内场景理解的任务。为了克服 RGB-D 训练数据不足的问题，采用实时渲染技术生成合成室内场景，并通过迁移学习的方式使得模型能够处理具有高度挑战性的真实场景。该神经网络具备较短的运行时间，可同时估计类别、姿态和位置等参数。

Aug, 2015

使用潜在先验网络和准平面分割的实时语义映射

提出了一种基于 2D 和 3D SLAM 网络结合的实时语义地图方法，通过重新投影及渲染后进行特征融合，以及一种利用表面法线的几何分割方法来整合 3D 语义元素，并使用新型的神经网络进行轻量级的语义地图后处理，实现了在不同深度感应器方面的性能表现和交叉传感器通用性方面的优化。

Jun, 2023

从 RGB-D 图像推断三维物体姿态

该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

Feb, 2015

使用 RGB-D 相机的多视角深度学习实现一致的语义映射

本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

Mar, 2017

学习少即是多 - 通过三维表面回归实现六自由度相机定位

本文针对如何从单个 RGB 图像中在给定的 3D 环境中预测 6D 相机姿态这一问题，通过设计并使用一个名为完全卷积神经网络的组件实现了高效、高精度和鲁棒性训练的端到端可训练的管道。令人惊奇的是，网络仅依靠单一视角的约束条件即可自动发现 3D 场景几何，甚至在没有利用场景 3D 模型的情况下，也能比现有技术更优秀。

Nov, 2017

基于分割的 6D 物体姿态估计

本文提出一种基于分割的 6D 姿态估计框架，使用关键点检测获取局部姿态预测，并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系，从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计，其采用简单且高效的架构实现实时性能。

Dec, 2018

基于视觉的大规模 3D 语义地图构建在自动驾驶应用中的研究

本文提出一种仅基于立体相机系统完成 3D 语义映射的完整流程，其中包括全局优化的直接稀疏视觉里程表前端和 GNSS 集成，以及语义 3D 点云标记的后端。作者提出了一种简单但有效的时间投票方案，提高了 3D 点标签的质量和一致性，并在 KITTI-360 数据集上进行了定性和定量评估，结果表明了提出的投票方案的有效性和流水线对于大规模高效 3D 语义映射的能力。另外，作者还展示了流水线的大规模映射能力，展示了由车队收集的数据生成的覆盖 8000 公里道路的大规模语义地图。

Mar, 2022