HifiFace:3D 形状和语义先验引导的高保真人脸交换
本研究提出了一种名为 FaceShifter 的新型两阶段框架,用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性,在第一阶段生成高清晰度的换脸图像,其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题,我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明,我们的技术不仅在感知上更好,而且还有更好的身份保护能力。
Dec, 2019
本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换,FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部,从而获得更加逼真的面部交换效果。
Dec, 2022
本文描述了一种新颖的人脸交换网络,使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应,实现在交换后的脸部图像中同时保留源身份和目标属性。
Apr, 2023
本文提出了一种基于 FlowFace++ 的面部交换框架,利用明确的语义流监督和端到端架构来促进具有形状感知的人脸交换,并在野外人脸数据集上表现出色。
Jun, 2023
提出了一种高效的面部交换框架,称为 Simple Swap (SimSwap),具有泛化和高保真度。通过使用 ID Injection Module (IIM) 将源面的身份信息传输到目标面,并通过提出的 Weak Feature Matching Loss 实现对特征的匹配,以实现属性的保留。在野外面部图像上的广泛实验表明,我们的 SimSwap 能够实现与先前最先进方法相同的身份性能,同时更好地保留属性。
Jun, 2021
通过一个创新的端到端框架,我们提出了一种高保真度的面部交换方法,其中使用了深度学习方法中的生成对抗网络(GANs)作为基础,通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块,解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验,与其他先进方法相比,我们的面部交换方法生成的图像具有更高的视觉质量,并且每个提出的模块都显著有效。源代码和权重将公开提供。
Dec, 2023
本文提出了一种新颖的面部交换框架 Megapixel Facial Identity Manipulation (MFIM),该框架能够生成高质量的图像,通过结合预训练的 StyleGAN 和 GAN-inversion 实现生成高分辨率图像。同时,通过使用 3DMM 捕捉多样的面部属性并显式监督模型生成具有所需属性的面部交换图像,实现了有效地转换给定图像的身份。在大量实验证明,我们的模型达到了最先进的性能。此外,我们还提出了一种新的操作方法叫做身份混合,可以通过语义混合多个人的身份来创建新的身份,为用户提供定制化的新身份。
Aug, 2023
本文提出了一种简化面部操纵过程的新框架,包括边界预测阶段和解缠合成阶段,其中边界预测阶段通过边界图像对姿势和表情进行建模,解缠合成阶段则使用两个编码器网络将预测的边界图像和输入的面部图像编码到结构和纹理潜空间中并进行分离,最后基于一个新的高分辨率的人脸操纵数据库进行实验验证。
Mar, 2019
本文介绍一种使用 RGB-D 自拍相机实现高保真、逼真、照片级的 3D 数字人头制作的完全自动化系统。该系统采用不同于传统的面部几何建模和反射合成技术,成功运用了两阶段帧选则过程和可微渲染器的 3DMM 拟合算法来从多视角 RGB-D 数据中恢复面部几何,进而实现人脸表面纹理的抠取与合成,从而制作出了高度真实细节的数字人头。
Oct, 2020
从单一音频生成具有高保真度的多样对话人脸,通过音频解耦、面部几何和语义学习、可控一致帧生成实现视觉多样性和音频同步动画。
Mar, 2024