深度快速逼近无序透明度
使用光场传感和照片逼真渲染提出了一种适用于透明物体的位姿估计算法 LIT,并引入相应数据集 ProLIT,实现了对透明物体的识别、定位和位姿估计。实验结果表明,在 ProLIT 数据集上,LIT 算法能够胜过现有的位姿估计方法。
Oct, 2019
我们提出了一种透明物体深度补全的端到端网络,结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点,并引入了基于置信度估计的深度细化模块,进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明,与现有方法相比,我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。
May, 2024
本文提出了一种用于重建透明物体完整 3D 形状的全自动方法,通过不同视角下捕获透明物体的轮廓和光线折射路径,并在表面投影、轮廓一致性和表面光滑度三个约束条件下逐步优化模型,实验结果表明该方法可以成功恢复透明物体的复杂形状,并忠实地再现它们的光折射特性。
May, 2018
通过神经网络学习适当估计透明或镜面表面的深度,无需任何真实标注,通过图像修复和处理得到可靠的伪标签,用于微调现有的单目或双目网络以学习处理透明或镜面表面,实验证实了我们提出的简单方法带来的显著改进。
Jul, 2023
利用仅需数张自然图像和已知任意环境映射,基于物理原理的网络,可恢复透明物体的 3D 形状,包括复杂折射和反射,其成功复原了高质量透明物体的 3D 几何形状,最少仅需五到十二张图片。
Apr, 2020
该研究提出了一种反渲染模型,可以从一对仅捕获到的半透明物体的图像中,联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题,并构建了庞大的合成数据集来验证模型的有效性。
May, 2023
本文提出了一种基于局部隐式神经表示的方法,使用射线 - 体素对捕获透明物体的深度信息,并在缺失深度数据的情况下,利用迭代式自我纠正模型和大规模合成数据集进一步完善估计,实验结果表明,这种方法在合成和真实数据上均比现有的最佳方法 ClearGrasp 表现显著优越,并将推理速度提高了 20 倍。
Apr, 2021
提出了一种新的透明物体的深度补全方法 TranspareNet,并成功建立了几乎 15000 张 RGB-D 图像的数据集 TODD,该方法不仅能够在复杂场景下对透明物体的深度进行精确的补全,而且也能够很好地处理有关干扰和混杂问题。
Sep, 2021
该论文提出了一种基于多个半透明图层和场景适应几何的视图合成方法,可以从立体对中推断几何,颜色和透明度值,通过可微分的渲染器进行训练,并展示了其在渲染速度和渲染效果等方面优于传统方法和基于隐式几何表示的 IBRNet 系统。
Jan, 2022
使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战,由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程:在第一阶段,利用现成的单目物体分割和深度补全网络来预测透明物体的深度,提供单视图形状先验信息;随后,我们提出了基于极线引导的光流(Epipolar-guided Optical Flow),将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow,它在光流中引入了边界敏感采样和极线约束,以在透明物体上准确建立 2D 对应关系。定量评估表明,我们的流程在 3D 重建质量上明显优于基准方法,为更熟练地感知和与透明物体交互铺平了道路。
Oct, 2023