镜中之国:透明形状的神经三维重建
本文提出了一种解决通过透明封装的对象恢复三维几何形状的新方法,将场景显式建模为内外两个不同的子空间,并使用了一种混合渲染策略,通过最小化真实图像与混合渲染图像之间的差异来恢复模型的几何形状和外观,实验证明该方法优于现有的技术。
Mar, 2023
本文提出了一种用于重建透明物体完整 3D 形状的全自动方法,通过不同视角下捕获透明物体的轮廓和光线折射路径,并在表面投影、轮廓一致性和表面光滑度三个约束条件下逐步优化模型,实验结果表明该方法可以成功恢复透明物体的复杂形状,并忠实地再现它们的光折射特性。
May, 2018
本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法,该方法采用了显式网格和多层感知器网络(MLP)的混合表示,通过多视图剪影获得初始形状,并使用基于表面的局部 MLP 编码顶点位移场(VDF)进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间,从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明,此方法可以在采集数据方面进行简化,并且可以确保重建质量优于现有的技术水平。
Mar, 2022
本文介绍了一种用于实景透明物体的高精度 3D 采集和重建方法,通过使用静态背景和编码模式,建立了相机视野光线和背景上位置之间的映射,并使用不同 iable 跟踪折射光线路径直接优化目标物体的 3D 网格近似,同时保证剪影一致性和平滑度。
Sep, 2020
该研究提出了一种反渲染模型,可以从一对仅捕获到的半透明物体的图像中,联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题,并构建了庞大的合成数据集来验证模型的有效性。
May, 2023
NeTO 是一种通过体积渲染的,利用带有自遮挡感知的折射光线跟踪优化带隐式符号距离函数(Signed Distance Function)表面表示的方法,能够重建高质量的透明物体三维图像,且在正确重建自遮挡区域方面表现优异。
Mar, 2023
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
ClearGrasp 是一种基于深度学习的方法,能够从单个 RGB-D 图像中准确估计透明物体的 3D 几何形状,以应对透明度对 3D 传感器造成的困扰,其表现优于单眼深度估计基线,并可广泛适用于实际物体的抓取改善。
Oct, 2019
利用三维表面几何约束以及反射对称性,从单个二维图像中恢复三维网格,相对于现有的 2D 和 2.5D 数据的三维重建方法,实现了更好的细节保留和性能表现。
Dec, 2019
本文提出了一种基于深度多层感知器(MLP)的坐标系参数化方法,通过充分利用观察到的光度变化和表面阴影,恢复了表面形状和非兰伯特表面反射,并显式地预测投射阴影,减轻了这些遮挡区域上可能存在的估计误差。测试结果表明,该方法在真实世界图像中优于现有方法,并且由于 MLP 网络较小,相比以前基于 CNN 的方法,其速度提高了一个数量级。
Mar, 2022