从低成本数据中学习三维可塑人脸反射模型
本文提出一种新的光场捕捉和处理方法,用于获取面部散射反照率图像,并成功构建了第一个可塑形面部反照率模型。该模型可作为 Basel Face Model 或 FLAME 的材质模型的替代品,在光谱校准的线性 sRGB 空间中建立,可用于典型相机拍摄的图片的反渲染和 3D MM 拟合。
Apr, 2020
本文提出了一种基于学习的、适用于 3D 扫描与融合系统的、从 8 位 RGB 图像中实时直接估算表面反射率的轻量级方法,并设计了两种新的网络架构和一种损失函数,同时还建立了一个大型合成数据集 SynBRDF 用于反射率估算。实验结果表明,该方法对于未受控制环境下的反射率估算具有优越性。
May, 2017
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
本文提出了一种创新的两阶段方法,用于从稀疏视图图像重建人脸,该任务由于每个个体的独特几何和复杂皮肤反射而具有挑战性。我们的方法专注于从环境光中分解关键的面部属性,包括几何、漫反射和镜面反射。开始时,我们从多样化的个体脸部图像集创建一个通用的面部模板,捕捉关键的几何和反射特征。在第二阶段,我们在该模板的指导下对每个具体的人脸模型进行细化,进一步考虑几何和反射之间的相互作用,以及对面部皮肤的次表面散射效应。我们的方法能够从仅有的三幅图像中重建出高质量的面部表示,提供了改进的几何准确性和反射细节。通过全面的评估和比较,我们的方法表现出优越性,有效解离几何和反射成分,提高了合成新视图的质量,为再照明和反射编辑等应用开辟了可能。我们将代码公开可用。
Dec, 2023
该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法,通过利用高质量的 UV 数据集进行渲染,使用样本处理过程来训练扩散模型,并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦,从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充,相较于现有方法,该方法更能忠实地和一致地估算反射率。
May, 2023
本研究提出了一种新的三维人脸重建技术,利用稀疏光度立体和单个图像的面部建模技术,通过采用语义分割技术,可以精确重构面部毛发和裸露皮肤区域,包括皱纹、眉毛、丘疹、毛孔等微小的几何细节,其表现可与电影品质制作相媲美。
Nov, 2017
解决采用光度立体法获取不同光照下物体表面法向和反射率的问题,应用已知 BRDF 字典的非负线性组合的假设,设计了一个基于实例的光度立体法的多尺度搜索策略以及梯度下降方法来求解每个像素点的表面法向和反射率,并且使用其他的约束优化方法以得到更好结果,该方法不需要迭代优化技巧和精心设计的初值,并在仿真和实际场景中表现出比竞争方法更好的性能。
Dec, 2015
基于 MoSAR 方法,从单目图像中生成 3D 头像。我们提出了一种半监督训练方案,通过同时学习光型平台和野外数据集来提高泛化性能,并利用一种新颖的可微分着色公式有效地分离面部参数,生成逼真且可重光的人物头像。此外,我们还推出了一个新数据集 FFHQ-UV-Intrinsics,该数据集提供了 10k 个主题的面部属性,包括漫反射、镜面反射、环境光遮蔽和透明度贴图,是首个公开的大规模数据集。
Dec, 2023
本研究提出了一种基于深度学习的生成模型,结合 4000 高分辨率人脸扫描数据集,能够产生多种面部几何、材料属性的人脸模型,并可用于物理渲染,旨在增加面部身份的多样性,提高唯一组件之间的韧性,包括中频几何、反照率图、高频位移细节等,可用于新颖的身份生成、模型拟合、插值、动画、高保真数据可视化和低到高分辨率数据域转换,并有望鼓励所有图形、视觉和数据专业人士之间进一步的合作,展示每个人完整生物特征资料的累积价值。
Apr, 2020