Jun, 2024

基于纹理量化的高保真人脸反射率估计

PDF
TL;DR本文介绍了一个新颖的面部 albedo 重建模型 HiFiAlbedo，通过使用廉价的纹理数据消除光照来直接从单个图像中恢复 albedo 图，并通过训练高保真面部纹理代码簿、微调纹理重建编码器和使用组标识损失学习纹理到 albedo 领域的自适应来实现高保真结果的实验验证。
3d face reconstructionfacial albedohifialbedoillumination invariant texture mapfacial texture
发现论文，激发创造
  • 通过场景消歧向无人种偏见的肤色估计努力

    该研究提出了一个新算法 TRUST，通过利用场景图像中与光照有关的信息来解决面部肌肤颜色以及光照的模糊性，并构建了一套面部肌肤颜色评估系统，对测试表明其比现有算法更加准确和公平

    May, 2022

  • 深度神经网络实现照片级真实面部纹理推理

    利用深度卷积神经网络提取中层特征，从高分辨率人脸数据库中拟合特征的凸组合，从而生成 photorealistic texture map，以实现从低分辨率输入图像中合成高逼真度的 3D 人脸渲染模型，并进行了广泛的验证。

    Dec, 2016

  • HiFiHR: 通过高保真纹理增强单张图像的三维手部重建

    我们提出了 HiFiHR，一种高保真度的手部重建方法，利用基于学习框架的单一图像的渲染和比较，能够生成视觉上逼真准确的三维手部网格，并恢复真实的纹理。我们的方法通过使用预定义纹理资产的参数化手部模型，并在训练过程中建立渲染图像和输入图像之间的纹理重建一致性，实现了优越的纹理重建结果。此外，通过在一个注释数据集上对网络进行预训练，我们运用自监督、弱监督和全监督等多种程度的监督方式，并讨论了学习到的高保真度纹理在增强手势和形状估计中的不同水平的贡献。在包括 FreiHAND 和 HO-3D 的公共基准测试上的实验证实，我们的方法在纹理重建质量方面优于最先进的手部重建方法，同时在姿势和形状估计方面保持可比的准确性。我们的代码可从此 https URL 获取。

    Aug, 2023

  • 一个可变形的脸部表面漫反射模型

    本文提出一种新的光场捕捉和处理方法，用于获取面部散射反照率图像，并成功构建了第一个可塑形面部反照率模型。该模型可作为 Basel Face Model 或 FLAME 的材质模型的替代品，在光谱校准的线性 sRGB 空间中建立，可用于典型相机拍摄的图片的反渲染和 3D MM 拟合。

    Apr, 2020

  • S2F2: 自监督单目图像高保真度人脸重建

    本文提出一种能够重建面部几何形状、在单个单目图像中重建时空变化的面部反射的新颖面部重建方法，采用基于 DNN 的自编码器和可微分光线追踪图像构建，同时利用自监督训练方法实现高保真度的面部重建，同时实现了面部反射和几何形状的高度解耦。

    Mar, 2022

  • 单目条件人脸反射重建

    通过在图像空间而非 UV 空间中学习反射先验，该研究提出了一个名为 ID2Reflectance 的框架，可以直接估计单幅图像的反射映射，减少对反射数据的依赖，并展示了出色的泛化能力和在野外人脸上状态最佳的面部反射重建结果。

    Mar, 2024

  • 实现高保真度的人脸光照重渲染带真实阴影

    我们提出了一种新颖的深度人脸光照方法，通过学习预测源图像和目标图像之间的比值图像，同时使用估计的阴影掩码准确修改影子，使得我们能够在保留本地面部细节的同时重新照明图像，并使用阴影掩码来估算图像中的环境光强度，在 Multi-PIE 和 FFHQ 数据集上进行定量和定性评估，证明了我们所提出的方法在保留主体的本地面部细节，并能够准确地处理深硬阴影的同时达到了最先进的人脸光照效果。

    Apr, 2021

  • 野外测量反照率：填补本质评估中的空白

    该论文介绍如何综合评估反射率，提出了三种新的评估指标：强度、色度和纹理度量，并使用 MAW 数据集对不同算法进行微调，大大提高了反射率的重建质量。

    Jun, 2023

  • 通过扩散模型从一张单照片中重光一个重光可调的 3D 人脸

    该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

    May, 2023

  • R2Human：来自单一图像的实时 3D 人类外貌渲染

    使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势，利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何，从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。

    Dec, 2023