May, 2020

室内深度补全的解码调制

PDF
TL;DR该研究提出了一种基于编码器 - 解码器架构的新型深度完成模型，利用重新定位输出信号内的空间分布，实现根据不同地区的控制，通过 Spatially-Adaptive Denormalization（SPADE）块来控制特定区域的密集度 map 解码，有效提高模型预测质量，主要贡献包含了编码器 - 解码器架构之外的特定部分设计和新颖的训练策略。
depth completionsensor measurementsdecoder modulationsemi-dense mapstraining strategy
发现论文，激发创造
  • 灵活深度完成的渐进解耦与调制

    提出了一种渐进的深度解耦和调制网络，通过将深度范围分解为多个范围，并自适应地生成多尺度稠密深度图，以解决现有深度离散化方法在不同场景中受深度分布变化影响导致子优化场景深度分布先验的问题。

    May, 2024

  • 基于两阶段遮罩自编码网络的室内深度完整性填充

    基于 Transformer 的双步骤网络用于室内深度完成，采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值，并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。

    Jun, 2024

  • 学习高效的多模态深度完成模型

    本文提出了一种轻量的深度完成网络，包括两个分支全局和局部深度预测模块和漏斗卷积空间传播网络，通过轻量级骨干提取和融合交叉模式特征，改进了空间传播模块可以逐步改善修饰后的深度图，解决了 RGB 图像引导的稀疏深度完成问题，通过修正的梯度损失解决了深度完成问题，并在 MIPI2022 RGB + TOF 深度完成挑战中获得了冠军。

    Aug, 2022

  • 全天候深度补全

    我们提出了一种在不同光照条件下进行深度估计的方法，该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构，并通过学习从稀疏到（粗糙的）密集深度图的映射及其预测不确定性来引导深度的精修，从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。

    May, 2024

  • 室内深度补全的 RGB-Depth 融合 GAN

    本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

    Mar, 2022

  • 自监督稀疏到稠密：基于激光雷达和单目摄像头的自监督深度补全

    本研究提出了针对稀疏深度图的深度补全方法，采用深度回归学习模型，通过自监督训练框架实现对稀疏深度图的快速、精准深度补全，实验结果表明本方法在 KITTI 深度补全基准测试中获得了最佳结果。

    Jul, 2018

  • 利用深度法线约束的稀疏 LiDAR 数据深度补全

    本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

    Oct, 2019

  • 一种适用于超级稀疏飞行时间深度图的低内存占用的量化神经网络深度补全方法

    提出了一种适用于室内 3D 感知的稀疏主动照明时间飞行（ToF）深度图修复方法。通过使用一个经过量化的卷积编码器 - 解码器网络，以及对输入进行预处理和使用几何保持损失函数进行精心调整的训练，该方法可以在实际光照和传感器分辨率约束下，生成具有高质量的深度图，同时仅需低 GPU 时间和内存占用。这种采用混合精度量化技术的模型可与目前模型的质量相当，并且在权重内存大小方面实现了最多 14 倍的减少，而对质量指标的影响也极小。

    May, 2022

  • HMS-Net：用于稀疏深度补全的分层多尺度稀疏不变网络

    该研究提出了一种基于多尺度编码器 - 解码器网络的方法，可以有效处理 LIDAR 测量得到的稀疏深度图，并将 RGB 信息融合到模型中，实现密集深度估计。实验证明，在权威的 KITTI depth completion 领先榜中，该方法表现出色。

    Aug, 2018

  • 从 RGB 和稀疏感知估计深度

    本研究提出了一种深度模型，能在极少的像素点处获得 RGB 图像的已知深度情况下，精确地生成密集深度图，并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内 / 室外场景的高质量深度点云。与其他稀疏到密集深度方法相比，在每～10000 个像素中仅有一个像素的情况下，我们的深度估计准确度比现有最新算法还要高，仅在图像 1/256 的像素上估计，我们的精度就相当于消费级深度传感器的性能，本研究说明了将稀疏深度测量（如低功率深度传感器或 SLAM 系统获得）高效地转换成高质量的密集深度图是完全可能的。

    Apr, 2018