透明物体的完整三维重建
本文介绍了一种用于实景透明物体的高精度 3D 采集和重建方法,通过使用静态背景和编码模式,建立了相机视野光线和背景上位置之间的映射,并使用不同 iable 跟踪折射光线路径直接优化目标物体的 3D 网格近似,同时保证剪影一致性和平滑度。
Sep, 2020
利用仅需数张自然图像和已知任意环境映射,基于物理原理的网络,可恢复透明物体的 3D 形状,包括复杂折射和反射,其成功复原了高质量透明物体的 3D 几何形状,最少仅需五到十二张图片。
Apr, 2020
本文提出了一种解决通过透明封装的对象恢复三维几何形状的新方法,将场景显式建模为内外两个不同的子空间,并使用了一种混合渲染策略,通过最小化真实图像与混合渲染图像之间的差异来恢复模型的几何形状和外观,实验证明该方法优于现有的技术。
Mar, 2023
NeTO 是一种通过体积渲染的,利用带有自遮挡感知的折射光线跟踪优化带隐式符号距离函数(Signed Distance Function)表面表示的方法,能够重建高质量的透明物体三维图像,且在正确重建自遮挡区域方面表现优异。
Mar, 2023
从真实世界数据中忠实地创建的数字 3D 物体表示可以用于人工或计算机辅助分析,同时可以用于生成难以获取或缺乏训练数据的机器学习方法的训练数据,本文提出了一种用于获取包括半透明物体内部的物理模型的体积重建方法,通过在明亮的白光源前以不同角度拍摄物体并计算每个体素的吸收和散射来解决可视化层析成像问题,此外,还提出了一种将非物理 NeRF 媒体转换为基于物理的体积网格的方法,并通过两个真实的浮游生物验证集展示了该方法的有用性,最终还将实验室扫描的模型重新光照并虚拟地浸入带有增强介质和照明条件的场景中。
Dec, 2023
我们提出了一种透明物体深度补全的端到端网络,结合了基于单视图 RGB-D 的深度补全和多视图深度估计的优点,并引入了基于置信度估计的深度细化模块,进一步改进了恢复的深度图。在 ClearPose 和 TransCG 数据集上进行的大量实验证明,与现有方法相比,我们的方法在具有显著遮挡的复杂场景中实现了更高的准确性和鲁棒性。
May, 2024
使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战,由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程:在第一阶段,利用现成的单目物体分割和深度补全网络来预测透明物体的深度,提供单视图形状先验信息;随后,我们提出了基于极线引导的光流(Epipolar-guided Optical Flow),将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow,它在光流中引入了边界敏感采样和极线约束,以在透明物体上准确建立 2D 对应关系。定量评估表明,我们的流程在 3D 重建质量上明显优于基准方法,为更熟练地感知和与透明物体交互铺平了道路。
Oct, 2023
该研究提出了一种反渲染模型,可以从一对仅捕获到的半透明物体的图像中,联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题,并构建了庞大的合成数据集来验证模型的有效性。
May, 2023
本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法,该方法采用了显式网格和多层感知器网络(MLP)的混合表示,通过多视图剪影获得初始形状,并使用基于表面的局部 MLP 编码顶点位移场(VDF)进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间,从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明,此方法可以在采集数据方面进行简化,并且可以确保重建质量优于现有的技术水平。
Mar, 2022