Nov, 2023

RFTrans: 借助透明物体的折射流推断进行表面法线估计与操作

PDF
TL;DR该研究介绍了一种名为 RFTrans 的基于 RGB-D 的透明物体表面法线估计和操作方法，利用折射流作为中间表示，有效解决了 RGB-D 相机在透明物体几何测量方面的问题，并可用于实现直接的仿真到实际应用的转化。实验结果表明，通过合成数据集的训练，RFTrans 在合成和现实世界基准测试中始终明显优于 ClearGrasp 基准，最终在现实世界中的机器人抓取任务中取得了 83% 的成功率。
transparent objectsrgb-d camerasrftransrefractive flowsurface normal estimation
发现论文，激发创造
  • Residual-NeRF: 学习透明物体操作的残差 NeRFs

    通过提出一种名为 Residual-NeRF 的方法，能够改善不透明物体的深度感知和训练速度，该方法通过学习场景的背景 NeRF 并结合背景和残差 NeRFs 进行推断，提供了综合性和真实性实验证明 Residual-NeRF 能够改善透明物体的深度感知。

    May, 2024

  • Dex-NeRF：使用神经辐射场感知透明物体

    利用神经光辐射场技术检测、定位并推断透明物体的几何形状，结合光源的设置和透射率感知的深度渲染，实现了透明物体的稳定夹取，其成功率分别达到了 90% 和 100%。

    Oct, 2021

  • 透明物体的三维形状估计和操作

    ClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。

    Oct, 2019

  • 透明和镜面对象的神经折射 - 反射场中的 3D 重建和视图合成

    本文介绍了一种新的方法，即折射 - 反射场，用于解决透明和镜面对象合成中的光线路径复杂性问题，并提出了一种虚拟锥超采样技术实现高效且有效的抗锯齿。通过在真实世界和合成数据集上进行测试，并对各种编辑应用进行定量和定性评估，包括材料编辑、对象替换 / 插入和环境照明估计，我们对该方法进行了基准测试。

    Sep, 2023

  • 使用可推广的 NeRF 基于多视角的透明和高光物体的 6-DoF 抓取检测 GraspNeRF

    本文提出了一种基于多视角 RGB 的 6 自由度预抓取检测网络 GraspNeRF，利用可转换的神经辐射场（NeRF）实现材料无关的物体预抓取，在杂乱的环境下可实时检测出 6 自由度的抓取，实验结果表明该方法在合成和真实环境中表现优异。

    Oct, 2022

  • 透明物体网格重建的可微折射跟踪

    本文介绍了一种用于实景透明物体的高精度 3D 采集和重建方法，通过使用静态背景和编码模式，建立了相机视野光线和背景上位置之间的映射，并使用不同 iable 跟踪折射光线路径直接优化目标物体的 3D 网格近似，同时保证剪影一致性和平滑度。

    Sep, 2020

  • TransCG：透明物体深度完成和抓取基线的大型实际数据集

    本研究提供了一种基于深度学习网络的方法，针对普通深度传感器获取透明物体深度信息的难题，构建了一个大规模真实场景数据集，同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息，并且该方法能够成功地应用于机器人对透明物体的抓取。

    Feb, 2022

  • 透明物体深度补全的 RGB-D 本地隐式函数

    本文提出了一种基于局部隐式神经表示的方法，使用射线 - 体素对捕获透明物体的深度信息，并在缺失深度数据的情况下，利用迭代式自我纠正模型和大规模合成数据集进一步完善估计，实验结果表明，这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越，并将推理速度提高了 20 倍。

    Apr, 2021

  • TransNet：透明物体操作通过类别级别姿态估计

    通过使用局部深度完成和表面法线估计，本文提出了一种名为 TransNet 的两阶段管道，用于估计透明物体的类别级姿势，该方法在大规模透明物体数据集上进行了评估，并与现有的类别级姿势估计方法进行了比较。比较结果表明，TransNet 在透明物体的姿势估计准确度方面取得了改进，并且我们利用 TransNet 构建了一个用于机器人抓取、放置和倒液的自主透明物体操作系统。

    Jul, 2023

  • ASGrasp: 从 RGB-D 主动立体相机进行可迁移的透明物体重建与抓取

    本研究针对透明和反射对象的抓取问题，利用 RGB-D 主动立体相机提出了一种名为 ASGrasp 的 6 自由度抓取检测网络，通过透明物体的重建实现材料无关的抓持，优于现有的基于 RGB-D 的方法。

    May, 2024