提出了一种新的多模态神经网络 UAMD-Net,通过融合双目立体匹配和稀疏点云的弱约束进行深度完善,并使用新的训练策略 Modal-dropout 使得网络能够适应多种模态输入条件,该方法在 KITTI 深度完善基准测试中的实验表明其能够产生鲁棒的结果,并优于其他最先进的方法。
Apr, 2022
本文提出一种新的三支架构解决深度补全问题,其中包括颜色导向的、语义导向的和深度导向的分支;同时使用基于多模态注意力融合的方法来融合三支架构,从 RGB 图像、稀疏深度图和语义图中预测出密集深度图。经过广泛的实验证明,在 KITTI 深度补全基准测试中取得了最先进的性能。
本文提出了一种轻量的深度完成网络,包括两个分支全局和局部深度预测模块和漏斗卷积空间传播网络,通过轻量级骨干提取和融合交叉模式特征,改进了空间传播模块可以逐步改善修饰后的深度图,解决了 RGB 图像引导的稀疏深度完成问题,通过修正的梯度损失解决了深度完成问题,并在 MIPI2022 RGB + TOF 深度完成挑战中获得了冠军。
Aug, 2022
基于编码器 - 解码器结构的新型深度补全模型提出了两个关键组件:MagaConv 架构和 BP-Fusion 模块。其中,MagaConv 架构通过使用迭代更新的遮罩调制卷积运算来获取精确的深度特征,而 BP-Fusion 模块通过在全局视角中利用连续的双向融合结构逐步整合深度和颜色特征。通过在包括 NYU-Depth V2,DIML 和 SUN RGB-D 在内的流行基准数据集上进行广泛实验,我们的模型表现优越,成就了在深度图像补全方面的卓越性能,并在准确性和可靠性方面超越了现有方法。
Jan, 2024
本文提出了一种图卷积空间传播网络(GraphCSPN)来完成深度补全的任务,该方法通过卷积神经网络和图神经网络的结合学习几何表示,通过可学习的几何约束规范化三维空间中的传播过程,利用特征块构建的图动态更新并加入边的注意力模块,从而更好地捕捉局部邻居特征和长距离的全局关系,使得在仅使用几个传播步骤的情况下取得了最先进的性能。
Oct, 2022
本文提出了一种基于图像引导的深度完成任务的融合方法,该方法利用了颜色模态和深度模态,采用双分支骨干网络融合不同的模态,并结合几何卷积编码 3D 几何信息,进而在 KITTI 深度完成在线排行榜中取得了第一名的成绩。
Mar, 2021
本文提出了一种基于跨模态关注上下文学习框架的方法,通过充分开发 RGB 和深度数据的上下文信息来识别物体。实验证明,该方法在所有公共基准测试中均显著提高了 RGB-D 物体检测的准确性,并提供了可解释的可视化方案。
Oct, 2018
本文提出了一种卷积神经网络,它可以基于高分辨率强度图像得出上采样一系列稀疏范围测量的上下文线索,并且在网络中分离、融合两种模态的上下文线索,旨在利用两种模态之间的关系来产生准确的结果,同时尊重显著的图像结构。通过实验结果表明,该方法与当前最先进的方法相媲美,并可在多个数据集上进行有效泛化。
Feb, 2019
本文提出 CSPN++ 方法,通过学习自适应卷积核大小和迭代传播次数的超参数,使得每个像素点都能动态分配上下文和计算资源,分别提出了 “上下文感知 CSPN” 和 “资源感知 CSPN”,在 KITTI 深度完成基准测试中取得了显著的精度和计算资源改进。
Nov, 2019
该研究提出了一种自适应上下文网络(ACNet)来捕捉基于像素需求的上下文,以全局上下文和局部上下文的竞争性融合为基础,进一步提高场景解析性能。