CVPRApr, 2021

透明物体深度补全的 RGB-D 本地隐式函数

PDF
TL;DR本文提出了一种基于局部隐式神经表示的方法，使用射线 - 体素对捕获透明物体的深度信息，并在缺失深度数据的情况下，利用迭代式自我纠正模型和大规模合成数据集进一步完善估计，实验结果表明，这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越，并将推理速度提高了 20 倍。
发现论文，激发创造
  • 透明物体深度补全

    我们提出了一种透明物体深度补全的端到端网络，结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点，并引入了基于置信度估计的深度细化模块，进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明，与现有方法相比，我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。

    May, 2024

  • Seeing Glass: 透明物体的点云和深度联合补全

    提出了一种新的透明物体的深度补全方法 TranspareNet，并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD，该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全，而且也能够很好地处理有关干扰和混杂问题。

    Sep, 2021

  • TransCG：透明物体深度完成和抓取基线的大型实际数据集

    本研究提供了一种基于深度学习网络的方法，针对普通深度传感器获取透明物体深度信息的难题，构建了一个大规模真实场景数据集，同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息，并且该方法能够成功地应用于机器人对透明物体的抓取。

    Feb, 2022

  • 基于 RBF 权重的 RGB-D 物体检测超插深卷积

    通过使用深度传感器的增强现实设备，我们提出了一种实时的 RGB-D 物体检测模型，其中包括深度引导的超卷积和基于上采样的可训练融合层，提高了从原始深度图中提取深度和彩色图像特征的效率和性能，并在 NYU Depth v2 数据集上表现优于其他基于 RGB-D 的物体检测模型，在 SUN RGB-D 数据集上表现相当出色，并且在新的室外 RGB-D 物体检测数据集上也表现出色。同时，我们的模型在来自 CAD 模型和图像生成的多样化合成数据的性能评估中显示出了应用于增强现实的潜力。

    Sep, 2023

  • 单个 RGB-D 图像的深度完备化

    本文介绍了通过深度网络进行 RGB-D 图片的深度补全，该方法的精度比直接补全深度更高，可应用于大多数物体表面甚至透明、光亮及遥远表面的深度补全。

    Mar, 2018

  • 基于 RGB 引导和不确定性的稀疏嘈杂 LiDAR 完整

    提出了一种新的方法，利用 RGB 图像指导生成稀疏的 LiDAR 地图的精确深度预测，通过融合 RGB 图像引导可以提高深度预测的准确性。该方法的实现在 KITTI 深度完成基准测试中得到了最佳成绩。

    Feb, 2019

  • 透明物体的三维形状估计和操作

    ClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。

    Oct, 2019

  • 室内深度补全的 RGB-Depth 融合 GAN

    本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

    Mar, 2022

  • MVTrans：透明物体的多视角感知

    本论文提出了一种名为 MVTrans 的新型多视点方法，采用多种感知能力，包括深度估计、分割和姿态估计，可用于透明物体检测，并建立了一个逼真的数据集合成管道 Syn-TODD 用于网络训练。

    Feb, 2023

  • 从姿势 RGBD 数据学习预测场景级隐式 3D

    本文提出了使用隐式函数进行场景级别三维重建的方法，利用 RGBD 数据对三维重建进行预测，与使用网络相比具有更好的鲁棒性和更少的标注要求。

    Jun, 2023