室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

CVPRJun, 2023

室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion

Haowen Wang, Zhengping Che, Mingyuan Wang, Zhiyuan Xu, Xiuquan Qiao...

TL;DR使用 RDFC-GAN 模型基于 Manhattan world 假设将 RGB-D 信息转换为具有高纹理的深度图，并通过自适应融合模块 W-AdaIN 和 confidence fusion head 来解决室内深度图中大量连续缺失数据的深度完成问题。

Abstract

The raw depth image captured by indoor depth sensors usually has an extensive range of missing depth values due to inherent limitations such as the inability to perceive transparent objects and the limited distance range. The incomplete depth map with missing values burdens many downst

indoor depth sensors depth completion methods rdfc-gan dense depth maps manhattan world assumption

发现论文，激发创造

室内深度补全的 RGB-Depth 融合 GAN

本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

Mar, 2022

单个 RGB-D 图像的深度完备化

本文介绍了通过深度网络进行 RGB-D 图片的深度补全，该方法的精度比直接补全深度更高，可应用于大多数物体表面甚至透明、光亮及遥远表面的深度补全。

Mar, 2018

语义场景完成的三维门控循环融合

本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

Feb, 2020

DFuseNet: RGB 和稀疏深度信息的深度融合，用于图像引导的密集深度完成

本文提出了一种卷积神经网络，它可以基于高分辨率强度图像得出上采样一系列稀疏范围测量的上下文线索，并且在网络中分离、融合两种模态的上下文线索，旨在利用两种模态之间的关系来产生准确的结果，同时尊重显著的图像结构。通过实验结果表明，该方法与当前最先进的方法相媲美，并可在多个数据集上进行有效泛化。

Feb, 2019

利用基于 Transformer 的框架提高图像字幕生成的深度信息

本研究通过整合 RGB 图像与深度信息进行图像描述，提出了一种基于 Transformer 编码 - 解码框架生成 3D 场景多句描述的方法，并在 NYU-v2 和斯坦福图像段落描述数据集上进行了实验，结果表明深度信息可以提高图像描述的效果。

Jul, 2023

基于两阶段遮罩自编码网络的室内深度完整性填充

基于 Transformer 的双步骤网络用于室内深度完成，采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值，并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。

Jun, 2024

基于特征融合的粗到细残差学习用于深度补全的 FCFR-Net

提出了一种基于残差学习的端到端深度完成框架，其将深度完成分为两个阶段进行训练，即粗 - 精阶段，并利用颜色图像和粗深度图提取了表示特征和进行了能量融合操作，将 KITTI 基准下的平均 RMSE 性能提高至当前最先进技术水平以上。

Dec, 2020

基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

Feb, 2019

将深度信息融合至 CNN 和 CRF 用于室内语义分割

本文提出了一种新的神经网络结构 (DFCN-DCRF)，该结构将 RGB-D 完全卷积神经网络 (DFCN) 与深度敏感的全连接条件随机场 (DCRF) 相结合，以改善分割性能。在实验中表明，DFCN-DCRF 与大多数最先进的方法相比具有最好的性能。

May, 2017

自动驾驶中基于图像导向的深度补全的简明有效网络

深度补全是自动驾驶中关键的任务之一，旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合，我们提出了一种简洁而有效的网络结构 CENet，实现了高性能深度补全，具有优秀的准确性和效率。

Jan, 2024