CVPRMar, 2018

通过解耦 3D 人脸特征进行联合人脸重建和识别

PDF
TL;DR本文提出了一种编码器 - 解码器网络架构，用于从单个 2D 图像中分离出形状特征，从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同，我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状，并根据一个含有潜在表示的组合 3D 人脸形状模型，明确地分开处理了 3D 人脸形状的身份和残差（即非身份）部分。我们制定了一个训练流程，用联合损失来衡量面部识别错误和 3D 人脸形状重建错误，为此我们开发了一种将 3D 形态可塑模型（3DMM）适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明，我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力，因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。
3d face reconstructionencoder-decoder networkshape featuresface recognitionidentity components
发现论文，激发创造
  • 3D 人脸形状的解耦表示学习

    本文介绍了一种设计三维人脸形状表征的新策略。通过将面部形状分解为身份部分和表情部分进行非线性编码和解码，利用属性分解框架对三维面孔网格进行表示，以更好地表示通常在彼此之间非线性变形的面孔形状。实验结果表明，我们的方法在分解身份和表情部分方面比现有方法表现更好，而且可以使用我们的方法获得更自然的表情转移结果。

    Feb, 2019

  • 使用深度神经网络回归具有鲁棒性和判别性的三维可塑模型

    我们提出了使用卷积神经网络进行三维面部模型重建的方法，通过大量标记数据的生成，优化了模型的准确性和稳定性，得到了超过现有方法的识别结果，实现了使用三维面部模型进行面部识别。

    Dec, 2016

  • 学习强健的 3D 人脸重建及判别身份表征

    本文提出了一种使用 Siamese 卷积神经网络的 3D 人脸重建方法，采用对比损失和恒等损失来保留身份特征信息和增加不同身份之间的距离，从而提高人脸识别的准确性。实验证明，在 300W-LP 和 AFLW2000-3D 等数据库上，相较于现有技术，该方法更加有效。

    May, 2019

  • 人脸联合对齐及三维面部重建在人脸识别中的应用

    提出了一种新的联合人脸对齐和三维人脸重建方法，该方法可以自动生成姿态和表情归一化的三维人脸，并能恢复可见和不可见的二维人脸关键点，从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明，该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。

    Aug, 2017

  • 基于深度神经网络的端对端三维人脸重建

    该篇论文提出了一种基于深度神经网络的端到端的方法来从单张 2D 人脸图像中进行三维人脸重建，并且利用了多任务损失函数和融合卷积神经网络来提高人脸表情重建的准确性。

    Apr, 2017

  • 基于重建的位姿不变人脸识别解耦

    本文探讨了一种基于深度神经网络的人脸识别方法，针对面部不同位置的姿态变化，在训练数据相对不足的情况下，通过生成非正面视图，提高了数据多样性，并利用特征重建度量学习来显式地分离身份和姿态，实现了不变性和识别准确性。

    Feb, 2017

  • 高质量的基于仿射卷积网络的 3D 人脸重建

    通过引入仿射卷积网络，本文提出了一种新的网络架构来解决三维人脸重建中输入图像和输出图像之间的空间不对应的问题，并生成 512×512 像素的高质量 UV 贴图。

    Oct, 2023

  • 通过对抗训练实现解耦的三维面部形状模型

    本研究提出了一种基于生成对抗网络的新方法，利用生成器和鉴别器实现面部建模。通过定量和定性结果表明，这种方法能更好地分离面部特征中的自然因素，尤其是身份和表情，并且比现有的最先进方法在解耦和多样性方面表现更优秀。

    Feb, 2019

  • 无监督利用三维感知潜在扩散模型对面部特征进行解耦

    本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

    Sep, 2023

  • 多分辨率实例判别式的无监督三维形状分析学习

    本文提出了一种用于不同形状分析任务的通用和高效形状编码网络的无监督方法，具体方法是联合编码和学习来自未标记的三维点云的形状和点特征，使用基于八叉树的卷积神经网络来进行编码，并设计了一个简单而高效的多分辨率实例判别损失，本方法不仅表现出了所有无监督方法中最佳的性能，还在小标记数据集的任务中表现出了与监督方法有竞争力的性能，甚至在细粒度形状分割任务中超过了现有的监督方法。

    Aug, 2020