从 RGB 和稀疏感知估计深度

ECCVApr, 2018

Estimating Depth from RGB and Sparse Sensing

Zhao Chen, Vijay Badrinarayanan, Gilad Drozdov, Andrew Rabinovich

TL;DR本研究提出了一种深度模型，能在极少的像素点处获得 RGB 图像的已知深度情况下，精确地生成密集深度图，并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内 / 室外场景的高质量深度点云。与其他稀疏到密集深度方法相比，在每～10000 个像素中仅有一个像素的情况下，我们的深度估计准确度比现有最新算法还要高，仅在图像 1/256 的像素上估计，我们的精度就相当于消费级深度传感器的性能，本研究说明了将稀疏深度测量（如低功率深度传感器或 SLAM 系统获得）高效地转换成高质量的密集深度图是完全可能的。

Abstract

We present a deep model that can accurately produce dense depth maps given an RGB image with known depth at a very sparse set of pixels. The model works simultaneously for both indoor/outdoor scenes and produces

deep model dense depth maps monocular depth estimation sparse-to-dense depth methods consumer-grade depth sensor

发现论文，激发创造

稀疏到密集：从稀疏深度样本和单幅图像中预测深度

本文论述了如何通过使用 RGB-D 原始数据，采用单个深度回归网络来学习来自稀疏深度范例的密集深度估计，并研究了样本数量对预测准确性的影响，提出的算法有两个应用：转换稀疏地图为密集地图和 LiDAR 的超分辨率。

Sep, 2017

利用稀疏深度测量与立体匹配融合实时稠密深度估计

本研究提出了一种深度估计方法，利用来自双目立体视觉和稀疏激光雷达或深度相机的测量信息。通过融合各传感器的优势，即精确但稀疏的测量信息和模糊但密集的立体信息，并采用各向异性扩散和半全局匹配技术进行有效地融合。该方法在 KITTI 2015 和 Middlebury 2014 数据集上评估，表现显著，而且使用 PMDTec Monstar 传感器提供了定量结果。

Sep, 2018

稀疏辅助网络实现单目深度预测和补全

研究了如何从单个 RGB 图像中预测密集深度，并引入了新的 Sparse Auxiliary Networks 模块来同时执行深度预测和补全任务。在室内和室外数据集上的实验结果表明，该模块能够同时学习两个任务，并在深度预测方面取得重大进展。

Mar, 2021

全天候深度补全

我们提出了一种在不同光照条件下进行深度估计的方法，该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构，并通过学习从稀疏到（粗糙的）密集深度图的映射及其预测不确定性来引导深度的精修，从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。

May, 2024

自监督稀疏到稠密：基于激光雷达和单目摄像头的自监督深度补全

本研究提出了针对稀疏深度图的深度补全方法，采用深度回归学习模型，通过自监督训练框架实现对稀疏深度图的快速、精准深度补全，实验结果表明本方法在 KITTI 深度补全基准测试中获得了最佳结果。

Jul, 2018

基于稀疏先验的水下机器人单目深度估计的度量缩放

本文主要关注移动水下载具中基于单目图像的实时稠密深度估计问题，提出了一种深度学习模型，通过融合来自三角化特征的稀疏深度测量结果来改善深度预测并解决尺度歧义问题。

Oct, 2023

神经网络 RGB->D 感知：从视频摄像机中获得深度和不确定性

本文提出了一种基于深度学习和贝叶斯滤波的方法，从单目视频流中连续估计每个像素的深度和不确定度概率分布，通过积累时间降低深度不确定度，提高准确性和鲁棒性，该方法可将普通 RGB 相机转换成 RGB-D 相机，并实现更为精确、稳定、泛化性更好的 3D 场景重建。

Jan, 2019

不使用显式三维运动估计的复杂动态场景密集深度估计

本文提出了一种基于光流和稀疏深度先验的方法，将动态场景模型假设为分段平面模型，计算其局部刚性变换和尽可能刚性的全局变换，无需显式估计 3D 旋转和平移即可高效恢复场景的深度密集图，适用于广泛的场景。

Feb, 2019

基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

Feb, 2019

DeepLiDAR：利用深度表面法向量指导的深度预测方法，基于稀疏 LiDAR 数据和单张彩色图像的室外场景

本文提出了一个深度神经网络架构，通过从单个彩色图像和稀疏深度产生准确的密集深度，实现了室外场景的景深感知。该网络以表面法向量为中间表示来产生密集深度，并可进行端到端的训练。利用修改后的编解码器结构，该网络有效地融合了密集的彩色图像和稀疏的 LiDAR 深度。

Dec, 2018