基于纹理和形状卷积网格解码器的密集式 3D 人脸解码,每秒超过 2500 帧
我们提出了使用卷积神经网络进行三维面部模型重建的方法,通过大量标记数据的生成,优化了模型的准确性和稳定性,得到了超过现有方法的识别结果,实现了使用三维面部模型进行面部识别。
Dec, 2016
本文介绍了一种新的卷积神经网络模型,将3D变形模型嵌入网络中,使得该网络可以处理输入数据的3D空间变换,并且可以对3D姿态的变化和遮挡进行识别和规范化,通过该方法可以对高度不规则的图像进行处理。
Aug, 2017
本文提出了一种编码器 - 解码器网络架构,用于从单个 2D 图像中分离出形状特征,从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同,我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状,并根据一个含有潜在表示的组合 3D 人脸形状模型,明确地分开处理了 3D 人脸形状的身份和残差(即非身份)部分。我们制定了一个训练流程,用联合损失来衡量面部识别错误和 3D 人脸形状重建错误,为此我们开发了一种将 3D 形态可塑模型(3DMM)适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明,我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力,因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。
Mar, 2018
本文提出了一种从大量非约束人脸图像中学习非线性3D Morphable Model的创新框架,该模型拥有比线性模型更强大的表示能力,并对人脸对齐和3D重建做出了贡献。
Apr, 2018
本文提出了两种方法,一种是使用回归器来完成一个模型缺失部分的替换,另一种是使用高斯过程框架来融合多个模型的协方差矩阵,使用这些方法成功地构建了一个新的面部和头部形状模型,并通过与FaceWarehouse blendshapes结合使用该模型进行了图像重建实验,达到了最先进性能,并且在头部建模方面表现出了较大的优势。
Mar, 2019
本文提出一种基于卷积神经网络和多视图图像的3D人脸重建方法,使用自监督的视角对齐损失来减少视图之间对齐误差,并使用光流法预测3D形状,实现更好的3D重建结果。
Apr, 2019
本文提出了一种利用图卷积网络从单视角图像中重建具有高保真度贴图的三维人脸形状的方法,并相对于其他的现有方法具有更好的定量和定性效果。
Mar, 2020