面具空间传播网络用于稀疏自适应深度细化
本文提出了一种可变形空间传播网络,用于适应性地为每个像素生成不同的感受野和密合矩阵,从而更准确地从稀疏深度测量中恢复密集的深度地图,KITTI 深度完成基准实验结果表明我们提出的方法达到了最先进的性能。
Jul, 2020
本文提出了一种名为 DySPN 的动态空间传播网络,通过注意力机制学习像素之间的关联性,以生成 RGB 图像的密集深度图,并采用扩散抑制技术防止过度平滑。实验结果表明,在 KITTI Depth Completion 和 NYU Depth v2 数据集上 DySPN 表现优于其他 SoTA 方法。
Feb, 2022
该研究提出了一种鲁棒和高效的端到端非局部空间传播网络,用于深度完成,该算法通过迭代细化初始深度预测并利用非局部邻居和对应的亲和力进行空间传播,提高了深度完成的准确性和鲁棒性,并在混合深度问题上具有较强的适应性。
Jul, 2020
本文提出了一种图卷积空间传播网络(GraphCSPN)来完成深度补全的任务,该方法通过卷积神经网络和图神经网络的结合学习几何表示,通过可学习的几何约束规范化三维空间中的传播过程,利用特征块构建的图动态更新并加入边的注意力模块,从而更好地捕捉局部邻居特征和长距离的全局关系,使得在仅使用几个传播步骤的情况下取得了最先进的性能。
Oct, 2022
本文提出 CSPN++ 方法,通过学习自适应卷积核大小和迭代传播次数的超参数,使得每个像素点都能动态分配上下文和计算资源,分别提出了 “上下文感知 CSPN” 和 “资源感知 CSPN”,在 KITTI 深度完成基准测试中取得了显著的精度和计算资源改进。
Nov, 2019
通过双边传播网络(BP-Net)和多模态融合与深度精炼的多尺度框架,我们的方法在室内和室外场景上表现出色,在 NYUv2 数据集上实现了 SOTA,并在 KITTI 深度完成基准上排名第一。
Mar, 2024
研究了如何从单个 RGB 图像中预测密集深度,并引入了新的 Sparse Auxiliary Networks 模块来同时执行深度预测和补全任务。在室内和室外数据集上的实验结果表明,该模块能够同时学习两个任务,并在深度预测方面取得重大进展。
Mar, 2021
我们提出了一种在不同光照条件下进行深度估计的方法,该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构,并通过学习从稀疏到(粗糙的)密集深度图的映射及其预测不确定性来引导深度的精修,从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。
May, 2024
基于激光雷达测量数据和相机图像,本研究提出了一种深度补全算法,通过插值和填充稀疏深度值来提高深度图像的分辨率,并使用时间算法从以往时间步中获取信息利用循环神经网络的方式来修改 PENet 方法,实现了对 KITTI 深度补全数据集的最新成果,相较于原有的神经网络参数和浮点运算仅增加不到 1% 的额外开销,尤其在远处物体和包含少量激光深度样本的区域中准确性得到了显著提高,甚至在没有任何地面真实数据的区域(如天空和屋顶)也观察到了巨大的改进,而这些改进并未被现有的评估指标所捕捉到。
Jun, 2024