学习高效的多模态深度完成模型

ECCVAug, 2022

Learning an Efficient Multimodal Depth Completion Model

Dewang Hou, Yuanyuan Du, Kai Zhao, Yang Zhao

TL;DR本文提出了一种轻量的深度完成网络，包括两个分支全局和局部深度预测模块和漏斗卷积空间传播网络，通过轻量级骨干提取和融合交叉模式特征，改进了空间传播模块可以逐步改善修饰后的深度图，解决了 RGB 图像引导的稀疏深度完成问题，通过修正的梯度损失解决了深度完成问题，并在 MIPI2022 RGB + TOF 深度完成挑战中获得了冠军。

Abstract

With the wide application of sparse tof sensors in mobile devices, RGB image-guided sparse depth completion has attracted extensive attention recently, but still faces some problems. First, the fusion of multimod

sparse tof sensors rgb image-guided depth completion network modules corrected gradient loss

发现论文，激发创造

MIPI 2023 RGB+ToF 深度补全挑战：方法与结果

该研究报告介绍了 RGB 图像和稀疏飞行时间（ToF）测量的深度完成竞赛的结果，比较了不同方法的准确性以及深度学习在该领域的应用。

Apr, 2023

多模态神经辐射场对于带有轻量化 ToF 传感器的单目密集 SLAM

通过使用轻量级 ToF 传感器的信号，结合多模式隐式场景表示、粗糙到精细的优化策略和时间信息处理，该研究提出了一种用于相机追踪和稠密场景重建的稀疏光准测距技术，取得了良好的结果。

Aug, 2023

基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

Feb, 2019

DFuseNet: RGB 和稀疏深度信息的深度融合，用于图像引导的密集深度完成

本文提出了一种卷积神经网络，它可以基于高分辨率强度图像得出上采样一系列稀疏范围测量的上下文线索，并且在网络中分离、融合两种模态的上下文线索，旨在利用两种模态之间的关系来产生准确的结果，同时尊重显著的图像结构。通过实验结果表明，该方法与当前最先进的方法相媲美，并可在多个数据集上进行有效泛化。

Feb, 2019

PENet：面向精确高效图像引导的深度完形补齐

本文提出了一种基于图像引导的深度完成任务的融合方法，该方法利用了颜色模态和深度模态，采用双分支骨干网络融合不同的模态，并结合几何卷积编码 3D 几何信息，进而在 KITTI 深度完成在线排行榜中取得了第一名的成绩。

Mar, 2021

室内深度补全的解码调制

该研究提出了一种基于编码器 - 解码器架构的新型深度完成模型，利用重新定位输出信号内的空间分布，实现根据不同地区的控制，通过 Spatially-Adaptive Denormalization（SPADE）块来控制特定区域的密集度 map 解码，有效提高模型预测质量，主要贡献包含了编码器 - 解码器架构之外的特定部分设计和新颖的训练策略。

May, 2020

一种适用于超级稀疏飞行时间深度图的低内存占用的量化神经网络深度补全方法

提出了一种适用于室内 3D 感知的稀疏主动照明时间飞行（ToF）深度图修复方法。通过使用一个经过量化的卷积编码器 - 解码器网络，以及对输入进行预处理和使用几何保持损失函数进行精心调整的训练，该方法可以在实际光照和传感器分辨率约束下，生成具有高质量的深度图，同时仅需低 GPU 时间和内存占用。这种采用混合精度量化技术的模型可与目前模型的质量相当，并且在权重内存大小方面实现了最多 14 倍的减少，而对质量指标的影响也极小。

May, 2022

基于特征融合的粗到细残差学习用于深度补全的 FCFR-Net

提出了一种基于残差学习的端到端深度完成框架，其将深度完成分为两个阶段进行训练，即粗 - 精阶段，并利用颜色图像和粗深度图提取了表示特征和进行了能量融合操作，将 KITTI 基准下的平均 RMSE 性能提高至当前最先进技术水平以上。

Dec, 2020

室内深度补全的 RGB-Depth 融合 GAN

本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

Mar, 2022

学习引导的卷积网络用于深度填充

该研究论文设计了一种基于引导网络和卷积分解的多模态特征融合方法，旨在实现在自动驾驶等机器人应用中高精度的深度图像恢复。该方法针对现代 LiDAR 传感器只能提供稀疏深度测量的问题，通过使用同步引导 RGB 图像，并从引导图像中预测核权重，以此来提取深度图像特征，该方法能够高效准确地处理深度数据恢复，具有很高的实用价值和应用前景。

Aug, 2019