Dec, 2018

DeepLiDAR：利用深度表面法向量指导的深度预测方法，基于稀疏 LiDAR 数据和单张彩色图像的室外场景

PDF
TL;DR本文提出了一个深度神经网络架构，通过从单个彩色图像和稀疏深度产生准确的密集深度，实现了室外场景的景深感知。该网络以表面法向量为中间表示来产生密集深度，并可进行端到端的训练。利用修改后的编解码器结构，该网络有效地融合了密集的彩色图像和稀疏的 LiDAR 深度。
deep learningdense depthoutdoor scenesurface normalslidar
发现论文，激发创造
  • 利用深度法线约束的稀疏 LiDAR 数据深度补全

    本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

    Oct, 2019

  • 3dDepthNet: 基于点云引导的深度补全网络，用于稀疏深度和单色图像

    本文提出 3dDepthNet，采用新颖的 3D-to-2D 粗 - 细双重加密设计，通过点云补全和编码解码结构完成深度图像的生成，旨在用于机器人和自动驾驶等领域，实验表明其有效性和高效性。

    Mar, 2020

  • DenseLiDAR: 一种实时的伪稠密深度导向深度补全网络

    本研究提出了一种新颖的实时伪深度引导深度补全神经网络 DenseLiDAR，利用形态操作得到的稠密伪深度图在三个方面指导网络，取得了最先进的性能，并在 KITTI 3D 对象检测数据集上实现了 3-5％的性能提升，这说明了深度完成结果可以用于改善相关下游任务的潜力。

    Aug, 2021

  • 稀疏到密集：从稀疏深度样本和单幅图像中预测深度

    本文论述了如何通过使用 RGB-D 原始数据，采用单个深度回归网络来学习来自稀疏深度范例的密集深度估计，并研究了样本数量对预测准确性的影响，提出的算法有两个应用：转换稀疏地图为密集地图和 LiDAR 的超分辨率。

    Sep, 2017

  • 单目深度图预测的半监督深度学习

    本文提出了一种半监督学习的深度学习方法，通过稀疏的真实深度数据和直接图像对齐误差来学习单目图像深度地图的预测，实验结果表现出一定的优越性。

    Feb, 2017

  • 学习引导的卷积网络用于深度填充

    该研究论文设计了一种基于引导网络和卷积分解的多模态特征融合方法，旨在实现在自动驾驶等机器人应用中高精度的深度图像恢复。该方法针对现代 LiDAR 传感器只能提供稀疏深度测量的问题，通过使用同步引导 RGB 图像，并从引导图像中预测核权重，以此来提取深度图像特征，该方法能够高效准确地处理深度数据恢复，具有很高的实用价值和应用前景。

    Aug, 2019

  • 基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

    提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

    Feb, 2019

  • 从 RGB 和稀疏感知估计深度

    本研究提出了一种深度模型，能在极少的像素点处获得 RGB 图像的已知深度情况下，精确地生成密集深度图，并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内 / 室外场景的高质量深度点云。与其他稀疏到密集深度方法相比，在每～10000 个像素中仅有一个像素的情况下，我们的深度估计准确度比现有最新算法还要高，仅在图像 1/256 的像素上估计，我们的精度就相当于消费级深度传感器的性能，本研究说明了将稀疏深度测量（如低功率深度传感器或 SLAM 系统获得）高效地转换成高质量的密集深度图是完全可能的。

    Apr, 2018

  • 自监督稀疏到稠密：基于激光雷达和单目摄像头的自监督深度补全

    本研究提出了针对稀疏深度图的深度补全方法，采用深度回归学习模型，通过自监督训练框架实现对稀疏深度图的快速、精准深度补全，实验结果表明本方法在 KITTI 深度补全基准测试中获得了最佳结果。

    Jul, 2018

  • 基于视觉惯性 SLAM 的深度估计

    本文研究了利用 VI-SLAM 系统从稀疏深度点云与室内场景图片中学习场景深度完成的问题，特别地，本文使用预训练的表面法向网络结合利用可用的重力估计来修正输入图像的视角限制，从而提高了表面法向估计和深度完成精度。最后，本文在 ScanNet、NYUv2 和 Azure Kinect 数据集上展示了我们的方法超越了其他最先进的方法。

    Jul, 2020