透明物体深度补全
本研究提供了一种基于深度学习网络的方法,针对普通深度传感器获取透明物体深度信息的难题,构建了一个大规模真实场景数据集,同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息,并且该方法能够成功地应用于机器人对透明物体的抓取。
Feb, 2022
提出了一种新的透明物体的深度补全方法 TranspareNet,并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD,该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全,而且也能够很好地处理有关干扰和混杂问题。
Sep, 2021
ClearGrasp 是一种基于深度学习的方法,能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状,以应对透明度对 3D 传感器造成的困扰,其表现优于单眼深度估计基线,并可广泛适用于实际物体的抓取改善。
Oct, 2019
本文提出了一种基于局部隐式神经表示的方法,使用射线 - 体素对捕获透明物体的深度信息,并在缺失深度数据的情况下,利用迭代式自我纠正模型和大规模合成数据集进一步完善估计,实验结果表明,这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越,并将推理速度提高了 20 倍。
Apr, 2021
本论文提出了一种名为 MVTrans 的新型多视点方法,采用多种感知能力,包括深度估计、分割和姿态估计,可用于透明物体检测,并建立了一个逼真的数据集合成管道 Syn-TODD 用于网络训练。
Feb, 2023
TransNet 是一种使用局部深度补全和表面法向量估计技术来实现透明物体类别级位姿估计的两阶段管道,能够比同类别级位姿估计方法更好的提高位姿估计的准确性。
Aug, 2022
本研究针对透明物体的属性,提出了一种大规模真实世界 RGB-Depth 透明物体数据集,命名为 ClearPose,用于定量评价分割、场景级深度完成和物体居中姿态估计的任务,该数据集包含超过 350K 个标记的真实世界 RGB-Depth 帧和 5M 个实例注释涵盖 63 种家庭物品等。
Mar, 2022
使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战,由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程:在第一阶段,利用现成的单目物体分割和深度补全网络来预测透明物体的深度,提供单视图形状先验信息;随后,我们提出了基于极线引导的光流(Epipolar-guided Optical Flow),将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow,它在光流中引入了边界敏感采样和极线约束,以在透明物体上准确建立 2D 对应关系。定量评估表明,我们的流程在 3D 重建质量上明显优于基准方法,为更熟练地感知和与透明物体交互铺平了道路。
Oct, 2023
提出了一种适用于透明物体的快速深度补全框架(FDCT),通过利用局部信息和设计新的融合分支和捷径,以及使用损失函数来抑制过拟合问题,实现了准确且易于使用的深度矫正框架。该框架可以仅通过 RGB-D 图像恢复稠密深度估计,运行速度约为 70 FPS,优于现有方法,同时还能提升物体抓取任务中的姿态估计性能。
Jul, 2023