Dec, 2023

MoSAR: 基于单目半监督模型的头像重建方法，利用可微分着色

PDF
TL;DR基于 MoSAR 方法，从单目图像中生成 3D 头像。我们提出了一种半监督训练方案，通过同时学习光型平台和野外数据集来提高泛化性能，并利用一种新颖的可微分着色公式有效地分离面部参数，生成逼真且可重光的人物头像。此外，我们还推出了一个新数据集 FFHQ-UV-Intrinsics，该数据集提供了 10k 个主题的面部属性，包括漫反射、镜面反射、环境光遮蔽和透明度贴图，是首个公开的大规模数据集。
avatar generationreflectance maps3d avatarmosarintrisic face attributes
发现论文，激发创造
  • SIRA: 从单张图像生成可重新照明的人物形象

    使用基于神经场的两个数据驱动统计模型，从单张图像中重建具有高保真度几何结构和因式化光线和表面材质的人头像，成功分离了全局照明和漫反射和镜面反射反射率，并使头部模型的外观编辑和照明调整成为可能。

    Sep, 2022

  • 利用自监督学习和光线跟踪实现高保真度单目人脸重建与富含反射的技术

    本文提出了一种基于 CNN 编码器和可微分光线追踪器的面部重建方法，使得在不同照明场景下，可以得到更高质量更真实的面部形状、外观和照明，从而实现实用的应用，如重新照明和自动去除自阴影。

    Mar, 2021

  • 自监督的单目可微渲染用于 3D 物体检测

    本研究提出了一种基于自监督的方法，利用强形状先验和二维实例掩模来重建带纹理的三维物体并进行姿态估计，通过可微分渲染和先前预训练的单目深度估计网络推断图像中每个物体的三维位置和网格信息，实验结果表明本方法有效地利用嘈杂的单目深度和可微分渲染来代替昂贵的 3D 地面真值标签或激光雷达信息。

    Sep, 2020

  • IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

    我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。

    Dec, 2023

  • DeepShaRM: 未知光照下多视角形状和反射率图恢复

    通过新颖的多视图方法 DeepShaRM，本研究提出了一种能够在未知自然光照条件下（即野外环境）重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络，从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图，并明确估计每个像素的置信度来处理全局光传输效应。然后，通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计，通过这两者的交替迭代，并且避开了反射率和光照分解难题，该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。

    Oct, 2023

  • 自监督多层面部模型学习，在超过 250 Hz 的单目重建中

    本论文提出了一种基于联合学习参数人脸模型和面部形状、表情、反射和照明的回归器的方法，其结合了 3D 可塑模型（3D Morphable Model）的优点和学习校正空间的空外推广优点。

    Dec, 2017

  • 稀疏图像中三维人脸重建的鲁棒几何和反射分离

    本文提出了一种创新的两阶段方法，用于从稀疏视图图像重建人脸，该任务由于每个个体的独特几何和复杂皮肤反射而具有挑战性。我们的方法专注于从环境光中分解关键的面部属性，包括几何、漫反射和镜面反射。开始时，我们从多样化的个体脸部图像集创建一个通用的面部模板，捕捉关键的几何和反射特征。在第二阶段，我们在该模板的指导下对每个具体的人脸模型进行细化，进一步考虑几何和反射之间的相互作用，以及对面部皮肤的次表面散射效应。我们的方法能够从仅有的三幅图像中重建出高质量的面部表示，提供了改进的几何准确性和反射细节。通过全面的评估和比较，我们的方法表现出优越性，有效解离几何和反射成分，提高了合成新视图的质量，为再照明和反射编辑等应用开辟了可能。我们将代码公开可用。

    Dec, 2023

  • 单目条件人脸反射重建

    通过在图像空间而非 UV 空间中学习反射先验，该研究提出了一个名为 ID2Reflectance 的框架，可以直接估计单幅图像的反射映射，减少对反射数据的依赖，并展示了出色的泛化能力和在野外人脸上状态最佳的面部反射重建结果。

    Mar, 2024

  • S2F2: 自监督单目图像高保真度人脸重建

    本文提出一种能够重建面部几何形状、在单个单目图像中重建时空变化的面部反射的新颖面部重建方法，采用基于 DNN 的自编码器和可微分光线追踪图像构建，同时利用自监督训练方法实现高保真度的面部重建，同时实现了面部反射和几何形状的高度解耦。

    Mar, 2022

  • 基于形态模型引导的稀疏光度三维人脸重建

    本研究提出了一种新的三维人脸重建技术，利用稀疏光度立体和单个图像的面部建模技术，通过采用语义分割技术，可以精确重构面部毛发和裸露皮肤区域，包括皱纹、眉毛、丘疹、毛孔等微小的几何细节，其表现可与电影品质制作相媲美。

    Nov, 2017