CVPRFeb, 2019

3D 人脸形状的解耦表示学习

PDF
TL;DR本文介绍了一种设计三维人脸形状表征的新策略。通过将面部形状分解为身份部分和表情部分进行非线性编码和解码，利用属性分解框架对三维面孔网格进行表示，以更好地表示通常在彼此之间非线性变形的面孔形状。实验结果表明，我们的方法在分解身份和表情部分方面比现有方法表现更好，而且可以使用我们的方法获得更自然的表情转移结果。
3d face shapedisentangled representationattribute decomposition frameworkvertex-based deformationexpression transfer
发现论文，激发创造
  • 通过解耦 3D 人脸特征进行联合人脸重建和识别

    本文提出了一种编码器 - 解码器网络架构，用于从单个 2D 图像中分离出形状特征，从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同，我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状，并根据一个含有潜在表示的组合 3D 人脸形状模型，明确地分开处理了 3D 人脸形状的身份和残差（即非身份）部分。我们制定了一个训练流程，用联合损失来衡量面部识别错误和 3D 人脸形状重建错误，为此我们开发了一种将 3D 形态可塑模型（3DMM）适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明，我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力，因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。

    Mar, 2018

  • 通过对抗训练实现解耦的三维面部形状模型

    本研究提出了一种基于生成对抗网络的新方法，利用生成器和鉴别器实现面部建模。通过定量和定性结果表明，这种方法能更好地分离面部特征中的自然因素，尤其是身份和表情，并且比现有的最先进方法在解耦和多样性方面表现更优秀。

    Feb, 2019

  • 无监督利用三维感知潜在扩散模型对面部特征进行解耦

    本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

    Sep, 2023

  • 从面部图像学习解耦表情表示

    本文使用对抗学习方法学习人脸图像的解缠表示，提高了在 AffectNet 数据集上表情识别任务的准确率。

    Aug, 2020

  • 3D 网格形状和姿态的无监督分离

    本文提出了一种简单但有效的无监督学习方法，结合自一致性和交叉一致性约束，并将尽可能刚性形变集成到训练循环中，以学习体态模型中的形状和姿态空间，并演示了学习表示的实用性，包括姿势转移和形状检索，实验证明了该方法的通用性。

    Jul, 2020

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 学习具有混合三维表示的分离化身

    DELTA 采用混合的 3D 表示方法对人体进行建模，通过将网格与体积渲染相结合，实现了人体、服装和头发的解耦合，有效实现了重建、试穿和发型转换等应用。

    Sep, 2023

  • 基于 Mini-Batch 特征交换的三维形状变分自编码器潜在因素解耦 —— 以身体和面部为例

    本文提出了一种直观而有效的自监督方法，通过跨不同形状交换任意特征来培训三维形状变分自编码器，从而鼓励特征的解缠缚潜在表示。实验结果表明，我们开发的方法正确解耦了身体和面部特征的生成，同时保持了良好的表示和重构能力。

    Nov, 2021

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • 通过 3D 分解进行人脸伪造检测

    本文提出了一种将人脸图像分解为 3D 几何形状、贴图和光照的计算机视图，使用人脸细节结合直接光和身份贴图来检测微妙的篡改模式并实现了最先进的性能表现。

    Nov, 2020