Oct, 2023

透明桌面场景重建：通过单眼深度补全优化的极线引导光流

PDF
TL;DR使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战，由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程：在第一阶段，利用现成的单目物体分割和深度补全网络来预测透明物体的深度，提供单视图形状先验信息；随后，我们提出了基于极线引导的光流（Epipolar-guided Optical Flow），将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow，它在光流中引入了边界敏感采样和极线约束，以在透明物体上准确建立 2D 对应关系。定量评估表明，我们的流程在 3D 重建质量上明显优于基准方法，为更熟练地感知和与透明物体交互铺平了道路。
transparent objectsreconstructionrgb-d camerasmobile platformsepipolar-guided optical flow
发现论文，激发创造
  • 透明物体深度补全

    我们提出了一种透明物体深度补全的端到端网络，结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点，并引入了基于置信度估计的深度细化模块，进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明，与现有方法相比，我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。

    May, 2024

  • 基于多层深度和极线变换的三维场景重建

    此研究论文研究如何从单个 RGB 图像自动重建场景的完整 3D 模型，它采用一种新的 Epipolar Feature Transformer 技术来联合图像的多层深度表示和卷积神经网络特征以提高场景信息的准确性。

    Feb, 2019

  • 基于密集 RGB-D 场景流的基于运动的物体分割

    本研究提出了一种基于深度学习的模型，用于估计连续 RGB-D 图像之间的场景流，可以将场景分成多个刚体运动的对象，利用编码和解码阶段，得到了像素级目标中心、运动和旋转估计，并在大规模合成和真实数据集上测试了模型性能。

    Apr, 2018

  • Seeing Glass: 透明物体的点云和深度联合补全

    提出了一种新的透明物体的深度补全方法 TranspareNet，并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD，该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全，而且也能够很好地处理有关干扰和混杂问题。

    Sep, 2021

  • 透明物体深度补全的 RGB-D 本地隐式函数

    本文提出了一种基于局部隐式神经表示的方法，使用射线 - 体素对捕获透明物体的深度信息，并在缺失深度数据的情况下，利用迭代式自我纠正模型和大规模合成数据集进一步完善估计，实验结果表明，这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越，并将推理速度提高了 20 倍。

    Apr, 2021

  • 镜中之国：透明形状的神经三维重建

    利用仅需数张自然图像和已知任意环境映射，基于物理原理的网络，可恢复透明物体的 3D 形状，包括复杂折射和反射，其成功复原了高质量透明物体的 3D 几何形状，最少仅需五到十二张图片。

    Apr, 2020

  • 基于虚拟相机的自由移动物体重建与姿态估计

    我们提出了一种从单目 RGB 视频中重建自由移动物体的方法，无需任何先验信息，通过基于隐式神经表示同时优化对象的形状和姿态，其中方法的关键是一个虚拟摄像机系统，显著减小了优化的搜索空间。通过在 HO3D 数据集和佩戴在头部设备上捕获的主观 RGB 序列上的评估，我们证明了该方法明显优于大多数方法，并且与假设先验信息的最新技术相媲美。

    May, 2024

  • MVTrans：透明物体的多视角感知

    本论文提出了一种名为 MVTrans 的新型多视点方法，采用多种感知能力，包括深度估计、分割和姿态估计，可用于透明物体检测，并建立了一个逼真的数据集合成管道 Syn-TODD 用于网络训练。

    Feb, 2023

  • 透明物体的三维形状估计和操作

    ClearGrasp 是一种基于深度学习的方法，能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状，以应对透明度对 3D 传感器造成的困扰，其表现优于单眼深度估计基线，并可广泛适用于实际物体的抓取改善。

    Oct, 2019

  • 基于光流的动态稠密 RGB-D SLAM 系统 FlowFusion

    研究使用光流残差技术实现动态语义感知的 RGB-D 环境下的 SLAM，同时实现动静分割、相机运动估计和静态背景重建。实验证明该方法在动态和静态环境中都比现有的方法具有更高的精度和效率。

    Mar, 2020