Oct, 2019

透明物体的三维形状估计和操作

PDF
TL;DRClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。
transparent objects3d sensingcleargraspdeep learningrobotic manipulation
发现论文，激发创造
  • 透明物体深度补全

    我们提出了一种透明物体深度补全的端到端网络，结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点，并引入了基于置信度估计的深度细化模块，进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明，与现有方法相比，我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。

    May, 2024

  • TransCG：透明物体深度完成和抓取基线的大型实际数据集

    本研究提供了一种基于深度学习网络的方法，针对普通深度传感器获取透明物体深度信息的难题，构建了一个大规模真实场景数据集，同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息，并且该方法能够成功地应用于机器人对透明物体的抓取。

    Feb, 2022

  • ASGrasp: 从 RGB-D 主动立体相机进行可迁移的透明物体重建与抓取

    本研究针对透明和反射对象的抓取问题，利用 RGB-D 主动立体相机提出了一种名为 ASGrasp 的 6 自由度抓取检测网络，通过透明物体的重建实现材料无关的抓持，优于现有的基于 RGB-D 的方法。

    May, 2024

  • ClearPose: 大规模透明物体数据集和基准

    本研究针对透明物体的属性，提出了一种大规模真实世界 RGB-Depth 透明物体数据集，命名为 ClearPose，用于定量评价分割、场景级深度完成和物体居中姿态估计的任务，该数据集包含超过 350K 个标记的真实世界 RGB-Depth 帧和 5M 个实例注释涵盖 63 种家庭物品等。

    Mar, 2022

  • 透明物体深度补全的 RGB-D 本地隐式函数

    本文提出了一种基于局部隐式神经表示的方法，使用射线 - 体素对捕获透明物体的深度信息，并在缺失深度数据的情况下，利用迭代式自我纠正模型和大规模合成数据集进一步完善估计，实验结果表明，这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越，并将推理速度提高了 20 倍。

    Apr, 2021

  • Seeing Glass: 透明物体的点云和深度联合补全

    提出了一种新的透明物体的深度补全方法 TranspareNet，并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD，该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全，而且也能够很好地处理有关干扰和混杂问题。

    Sep, 2021

  • 镜中之国：透明形状的神经三维重建

    利用仅需数张自然图像和已知任意环境映射，基于物理原理的网络，可恢复透明物体的 3D 形状，包括复杂折射和反射，其成功复原了高质量透明物体的 3D 几何形状，最少仅需五到十二张图片。

    Apr, 2020

  • KeyPose：透明物体多视图三维标注与关键点估计

    该论文提出了一种基于双目视觉输入的深度神经网络，称为 KeyPose，并使用该网络从 RGB 相机标记的三维关键点预测物体姿势，即使在透明物体的情况下也能取得比现有方法更好的 3D 姿态估计表现。

    Dec, 2019

  • 透明物体复杂背景下的视觉 - 触觉融合抓取

    本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

    Nov, 2022

  • 适用于透明和反光物体抓取的多模态迁移学习

    通过多模态感知的学习提高透明和有光泽物体的抓取性能，无需真实试验。

    May, 2020