Nov, 2023

SparseDC: 稀疏和非均匀输入的深度补全

PDF
TL;DRSparseDC 模型用于完成稀疏和非均匀的深度输入补全。该模型通过 SFFM 策略填充不稳定的深度特征和稳定的图像特征，使用两个分支的特征嵌入器预测有深度值的区域的准确局部几何和无深度的区域的准确结构，关键在于通过 UFFM 模块平衡 CNN 和 ViT 提取的局部和长期信息。经过室内外广泛实验证明了该框架在面对稀疏和非均匀深度输入时的稳健性。
sparsedcdepth completionsparse inputsffmuffm
发现论文，激发创造
  • 使用 CNN 处理稀疏和密集数据：深度补全和语义分割

    该论文介绍了一种处理稀疏深度数据的方法，它可以完成深度补全和语义分割，且具有网络鲁棒性，适用于包括 8 层雷达在内的密度极低的场景，并在 KITTI 深度补全基准测试中表现出优越性能。

    Aug, 2018

  • 深度完成的深度系数

    提出了一种基于深度系数（Depth coefficients，DC）的深度完形填空方法，使用交叉熵损失替换均方误差损失可以改善深度完整性和抑制深度掺杂，从而提高基于深度的物体检测性能。

    Mar, 2019

  • 自监督稀疏到稠密：基于激光雷达和单目摄像头的自监督深度补全

    本研究提出了针对稀疏深度图的深度补全方法，采用深度回归学习模型，通过自监督训练框架实现对稀疏深度图的快速、精准深度补全，实验结果表明本方法在 KITTI 深度补全基准测试中获得了最佳结果。

    Jul, 2018

  • 使用 KISS-GP 实现密集深度推断和稀疏范围测量之间的平衡深度完成

    本文介绍结合单目深度估计与激光雷达稀疏测量的深度完成问题及其解决方案，使用高斯过程深度回归及基于结构的可扩展核插值的方法来提高深度估计的准确性和鲁棒性，与现有无监督方法相比，本方法在稀疏和偏置量测量方面具有更高的精度和鲁棒性。

    Aug, 2020

  • 室内深度补全的解码调制

    该研究提出了一种基于编码器 - 解码器架构的新型深度完成模型，利用重新定位输出信号内的空间分布，实现根据不同地区的控制，通过 Spatially-Adaptive Denormalization（SPADE）块来控制特定区域的密集度 map 解码，有效提高模型预测质量，主要贡献包含了编码器 - 解码器架构之外的特定部分设计和新颖的训练策略。

    May, 2020

  • 利用深度法线约束的稀疏 LiDAR 数据深度补全

    本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

    Oct, 2019

  • 全天候深度补全

    我们提出了一种在不同光照条件下进行深度估计的方法，该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构，并通过学习从稀疏到（粗糙的）密集深度图的映射及其预测不确定性来引导深度的精修，从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。

    May, 2024

  • 从 RGB 和稀疏感知估计深度

    本研究提出了一种深度模型，能在极少的像素点处获得 RGB 图像的已知深度情况下，精确地生成密集深度图，并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内 / 室外场景的高质量深度点云。与其他稀疏到密集深度方法相比，在每～10000 个像素中仅有一个像素的情况下，我们的深度估计准确度比现有最新算法还要高，仅在图像 1/256 的像素上估计，我们的精度就相当于消费级深度传感器的性能，本研究说明了将稀疏深度测量（如低功率深度传感器或 SLAM 系统获得）高效地转换成高质量的密集深度图是完全可能的。

    Apr, 2018

  • 室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

    使用 RDFC-GAN 模型基于 Manhattan world 假设将 RGB-D 信息转换为具有高纹理的深度图，并通过自适应融合模块 W-AdaIN 和 confidence fusion head 来解决室内深度图中大量连续缺失数据的深度完成问题。

    Jun, 2023

  • 基于特征融合的粗到细残差学习用于深度补全的 FCFR-Net

    提出了一种基于残差学习的端到端深度完成框架，其将深度完成分为两个阶段进行训练，即粗 - 精阶段，并利用颜色图像和粗深度图提取了表示特征和进行了能量融合操作，将 KITTI 基准下的平均 RMSE 性能提高至当前最先进技术水平以上。

    Dec, 2020