NDDepth：基于法线和距离辅助的单目深度估计和补全

Nov, 2023

NDDepth：基于法线和距离辅助的单目深度估计和补全

NDDepth: Normal-Distance Assisted Monocular Depth Estimation and Completion

Shuwei Shao, Zhongcai Pei, Weihai Chen, Peter C. Y. Chen, Zhengguo Li

TL;DR通过假设 3D 场景由分段平面组成，本文提出了针对单目深度估计和补全任务的新型物理（几何）推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出，提出了一个法线 - 距离模块。同时，通过开发出平面感知一致性约束来规范化表面法线和距离图，并将其转换为深度图。此外，还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明，我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。

Abstract

Over the past few years, monocular depth estimation and completion have been paid more and more attention from the computer vision community because of their widespread applications. In this paper, we introduce n

monocular depth estimation completion physics-driven deep learning surface normal plane-to-origin distance

发现论文，激发创造

NDDepth：正态 - 距离辅助单目深度估计

基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

Sep, 2023

利用深度法线约束的稀疏 LiDAR 数据深度补全

本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

Oct, 2019

正常辅助立体深度估计

本文研究如何利用法线估计模型和预测的法线图提高深度质量，方法包括联合学习多视角法线估计和深度估计模块以及提出一种新的一致性损失来训练一个独立的一致性模块来细化深度 / 法线对。实验结果表明，该方法具有高精度、平滑等优点，在多个数据集上的表现均优于现有技术。

Nov, 2019

通过线条解析几何形状：带有部分激光观察的单目深度估计

该论文提出一种在机器人应用中提高单目深度估计精度的方法，通过残差神经网络，以 2D 激光测距仪的观察为基础，结合分类和回归损失进行连续深度估计，在障碍物避免中具有潜在的应用价值。

Oct, 2016

单个 RGB-D 图像的深度完备化

本文介绍了通过深度网络进行 RGB-D 图片的深度补全，该方法的精度比直接补全深度更高，可应用于大多数物体表面甚至透明、光亮及遥远表面的深度补全。

Mar, 2018

P3Depth: 利用分段平面先验的单目深度估计

提出了一种基于像素平面性先验的单目深度估计方法，并使用具有两个输出头的卷积神经网络来学习并由此实现端到端的训练，以预测尖锐边缘和具有合理 3D 重建的深度图，将其在 NYU Depth-v2 和 KITTI 的 Garg 数据集上的实验结果击败了以前的方法并创造了最新的技术成果。

Apr, 2022

强制执行虚拟法线的几何约束以进行深度预测

本研究提出了一种基于高阶 3D 几何约束的深度预测模型，通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数，能够显著提高深度预测的准确性，从而实现直接从深度图中恢复场景的 3D 结构（如点云和表面法向），进而消除了训练新子模型的必要性，并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。

Jul, 2019

基于深度学习的单目深度估计：综述

该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

Mar, 2020

基于视觉惯性 SLAM 的深度估计

本文研究了利用 VI-SLAM 系统从稀疏深度点云与室内场景图片中学习场景深度完成的问题，特别地，本文使用预训练的表面法向网络结合利用可用的重力估计来修正输入图像的视角限制，从而提高了表面法向估计和深度完成精度。最后，本文在 ScanNet、NYUv2 和 Azure Kinect 数据集上展示了我们的方法超越了其他最先进的方法。

Jul, 2020

动态场景下的无监督单目深度学习

本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

Oct, 2020