PENet:面向精确高效图像引导的深度完形补齐
深度补全是自动驾驶中关键的任务之一,旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合,我们提出了一种简洁而有效的网络结构 CENet,实现了高性能深度补全,具有优秀的准确性和效率。
Jan, 2024
本文提出一种新的三支架构解决深度补全问题,其中包括颜色导向的、语义导向的和深度导向的分支;同时使用基于多模态注意力融合的方法来融合三支架构,从 RGB 图像、稀疏深度图和语义图中预测出密集深度图。经过广泛的实验证明,在 KITTI 深度补全基准测试中取得了最先进的性能。
Apr, 2022
本文提出了一种基于深度信息补全技术,使用 RGB 图像和不完整的深度图像进行输入,设计了一种新的两支分支端对端融合网络,其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归,另一个分支提出了一种 RGB 深度融合 GAN,通过自适应融合模块和置信度融合头来融合这两个分支的输出,从而实现了对室内环境中丢失深度数据的精确补全。
Mar, 2022
本文提出 3dDepthNet,采用新颖的 3D-to-2D 粗 - 细双重加密设计,通过点云补全和编码解码结构完成深度图像的生成,旨在用于机器人和自动驾驶等领域,实验表明其有效性和高效性。
Mar, 2020
本文提出了一种新的端到端模型,以 RGB 和稀疏深度为输入,联合执行语义分割和深度完成,通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。
Sep, 2022
本文提出了一种轻量的深度完成网络,包括两个分支全局和局部深度预测模块和漏斗卷积空间传播网络,通过轻量级骨干提取和融合交叉模式特征,改进了空间传播模块可以逐步改善修饰后的深度图,解决了 RGB 图像引导的稀疏深度完成问题,通过修正的梯度损失解决了深度完成问题,并在 MIPI2022 RGB + TOF 深度完成挑战中获得了冠军。
Aug, 2022
本文提出了一种统一的 CNN 框架来规范化深度完成,通过模拟深度与表面法线之间的几何约束,预测稀疏 LiDAR 输入的置信度,以隔离噪声的影响,以实现从稀疏深度图恢复密集深度图的目标,我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验,证明了我们的方法达到了最先进的性能。
Oct, 2019
提出了一种基于残差学习的端到端深度完成框架,其将深度完成分为两个阶段进行训练,即粗 - 精阶段,并利用颜色图像和粗深度图提取了表示特征和进行了能量融合操作,将 KITTI 基准下的平均 RMSE 性能提高至当前最先进技术水平以上。
Dec, 2020
基于激光雷达测量数据和相机图像,本研究提出了一种深度补全算法,通过插值和填充稀疏深度值来提高深度图像的分辨率,并使用时间算法从以往时间步中获取信息利用循环神经网络的方式来修改 PENet 方法,实现了对 KITTI 深度补全数据集的最新成果,相较于原有的神经网络参数和浮点运算仅增加不到 1% 的额外开销,尤其在远处物体和包含少量激光深度样本的区域中准确性得到了显著提高,甚至在没有任何地面真实数据的区域(如天空和屋顶)也观察到了巨大的改进,而这些改进并未被现有的评估指标所捕捉到。
Jun, 2024
提出了一种新的方法,利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测,通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。
Feb, 2019