室内深度补全的 RGB-Depth 融合 GAN

CVPRMar, 2022

RGB-Depth Fusion GAN for Indoor Depth Completion

Haowen Wang, Mingyuan Wang, Zhengping Che, Zhiyuan Xu, Xiuquan Qiao...

TL;DR本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

Abstract

The raw depth image captured by the indoor depth sensor usually has an extensive range of missing depth values due to inherent limitations such as the inability to perceive transparent objects and limited distance range. The incomplete depth map burdens many downstream vision tasks, and a rising number of →

depth completion fusion network encoder-decoder rgb-depth fusion gan w-adain

发现论文，激发创造

室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

使用 RDFC-GAN 模型基于 Manhattan world 假设将 RGB-D 信息转换为具有高纹理的深度图，并通过自适应融合模块 W-AdaIN 和 confidence fusion head 来解决室内深度图中大量连续缺失数据的深度完成问题。

Jun, 2023

基于两阶段遮罩自编码网络的室内深度完整性填充

基于 Transformer 的双步骤网络用于室内深度完成，采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值，并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。

Jun, 2024

单个 RGB-D 图像的深度完备化

本文介绍了通过深度网络进行 RGB-D 图片的深度补全，该方法的精度比直接补全深度更高，可应用于大多数物体表面甚至透明、光亮及遥远表面的深度补全。

Mar, 2018

DFuseNet: RGB 和稀疏深度信息的深度融合，用于图像引导的密集深度完成

本文提出了一种卷积神经网络，它可以基于高分辨率强度图像得出上采样一系列稀疏范围测量的上下文线索，并且在网络中分离、融合两种模态的上下文线索，旨在利用两种模态之间的关系来产生准确的结果，同时尊重显著的图像结构。通过实验结果表明，该方法与当前最先进的方法相媲美，并可在多个数据集上进行有效泛化。

Feb, 2019

PENet：面向精确高效图像引导的深度完形补齐

本文提出了一种基于图像引导的深度完成任务的融合方法，该方法利用了颜色模态和深度模态，采用双分支骨干网络融合不同的模态，并结合几何卷积编码 3D 几何信息，进而在 KITTI 深度完成在线排行榜中取得了第一名的成绩。

Mar, 2021

自动驾驶中基于图像导向的深度补全的简明有效网络

深度补全是自动驾驶中关键的任务之一，旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合，我们提出了一种简洁而有效的网络结构 CENet，实现了高性能深度补全，具有优秀的准确性和效率。

Jan, 2024

基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

Feb, 2019

语义场景完成的三维门控循环融合

本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

Feb, 2020

利用基于 Transformer 的框架提高图像字幕生成的深度信息

本研究通过整合 RGB 图像与深度信息进行图像描述，提出了一种基于 Transformer 编码 - 解码框架生成 3D 场景多句描述的方法，并在 NYU-v2 和斯坦福图像段落描述数据集上进行了实验，结果表明深度信息可以提高图像描述的效果。

Jul, 2023

面具适应性门控卷积和双向渐进融合网络用于深度补全

基于编码器 - 解码器结构的新型深度补全模型提出了两个关键组件：MagaConv 架构和 BP-Fusion 模块。其中，MagaConv 架构通过使用迭代更新的遮罩调制卷积运算来获取精确的深度特征，而 BP-Fusion 模块通过在全局视角中利用连续的双向融合结构逐步整合深度和颜色特征。通过在包括 NYU-Depth V2，DIML 和 SUN RGB-D 在内的流行基准数据集上进行广泛实验，我们的模型表现优越，成就了在深度图像补全方面的卓越性能，并在准确性和可靠性方面超越了现有方法。

Jan, 2024