稀疏多视图图像抓取的深度 3D 捕获:几何和反射
该论文提出了一种深度学习方法,可以从不确定数量的拍摄的无序图片中估计材料外观,无需校准,并通过提取每张图片中的最有用的信息并从数据中学到的先验知识,处理视角和光线方向的变化,从而实现对材料的捕捉,并在单张至多张图片的输入条件下,实现与现有单张和复杂多张方法之间的完美平衡。
Jun, 2019
本文提出了一种新方法,通过使用点光源的移动手持捕捉系统,联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势,对象几何和空间变化双向反射分布函数,并引入分布式优化算法进行重构
Jun, 2023
本文提出了一种创新的两阶段方法,用于从稀疏视图图像重建人脸,该任务由于每个个体的独特几何和复杂皮肤反射而具有挑战性。我们的方法专注于从环境光中分解关键的面部属性,包括几何、漫反射和镜面反射。开始时,我们从多样化的个体脸部图像集创建一个通用的面部模板,捕捉关键的几何和反射特征。在第二阶段,我们在该模板的指导下对每个具体的人脸模型进行细化,进一步考虑几何和反射之间的相互作用,以及对面部皮肤的次表面散射效应。我们的方法能够从仅有的三幅图像中重建出高质量的面部表示,提供了改进的几何准确性和反射细节。通过全面的评估和比较,我们的方法表现出优越性,有效解离几何和反射成分,提高了合成新视图的质量,为再照明和反射编辑等应用开辟了可能。我们将代码公开可用。
Dec, 2023
通过新颖的多视图方法 DeepShaRM,本研究提出了一种能够在未知自然光照条件下(即野外环境)重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络,从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图,并明确估计每个像素的置信度来处理全局光传输效应。然后,通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计,通过这两者的交替迭代,并且避开了反射率和光照分解难题,该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。
Oct, 2023
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
本文提出了一种基于深度学习的场景重建方法,应用了一种新颖的体积场景表示方法 —— 反射体积网格,通过物理可行的可微分体积光线行走框架,渲染出高质量的图像,实现了对具备挑战性的真实场景的重建,而重建得到的反射体积网格可进行编辑,可用于修改捕捉的场景材料。
Jul, 2020
本文提出了一种简单且实用的解决方案,在多视角重建中使用基于联合几何和光度约束的能量最小化,利用一个共置的摄像机 - 光线扫描仪设备来克服建立跨视觉对应的问题。我们的优化算法可以从随机初始化中稳健地全局最优地恢复形状和反射率。实验结果验证了我们方法的有效性并讨论了未来的可能扩展。
May, 2021
本文提出了一种基于深度神经网络的轻量级外观捕捉方法,通过多个创新方法如大规模数据集采集、网络设计等,可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度,并对单张空间不均匀 BRDFs 的捕捉进行了优化。
Oct, 2018
本文提出了一种基于学习的、适用于 3D 扫描与融合系统的、从 8 位 RGB 图像中实时直接估算表面反射率的轻量级方法,并设计了两种新的网络架构和一种损失函数,同时还建立了一个大型合成数据集 SynBRDF 用于反射率估算。实验结果表明,该方法对于未受控制环境下的反射率估算具有优越性。
May, 2017
本文介绍了一种适用于透视相机和附近点光源的多视图光度立体技术 (MVPS) 来捕捉 3D 形状和空间变化的反射,并在实验中展示了应用该算法重建形状和捕捉反射的准确性。
Jan, 2020