FaceShifter：高保真度且遮挡感知的人脸交换

CVPRDec, 2019

FaceShifter：高保真度且遮挡感知的人脸交换

FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

Lingzhi Li, Jianmin Bao, Hao Yang, Dong Chen, Fang Wen

TL;DR本研究提出了一种名为 FaceShifter 的新型两阶段框架，用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性，在第一阶段生成高清晰度的换脸图像，其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题，我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明，我们的技术不仅在感知上更好，而且还有更好的身份保护能力。

Abstract

In this work, we propose a novel two-stage framework, called FaceShifter, for high fidelity and occlusion aware face swapping. Unlike many existing face swapping works that leverage only limited information from the target image when synthesizing the swapped face, our framework, in its

face swapping high-fidelity occlusion-aware attributes encoder hear-net

发现论文，激发创造

面部转换器：实现高保真度和准确率的人脸交换

本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

Apr, 2023

高保真人脸换脸与风格融合

通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

Dec, 2023

BlendFace: 重新设计面部交换的身份编码器

本研究提出了 BlendFace，一种用于换脸的新型身份编码器，通过在混合图像上训练面部识别模型并引导生成器，解决了现有方法中存在的身份 - 属性纠缠问题。大量实验证明 BlendFace 在换脸模型中提高了身份与属性的分离效果，并且在定量性能上与之前的方法相当。

Jul, 2023

HifiFace：3D 形状和语义先验引导的高保真人脸交换

本文提出了一种高保真人脸交换方法，称为 HifiFace，它可以很好地保留源脸部的脸型并生成逼真的结果。该方法采用 3D 形状感知身份来控制面部形状，并使用网络优化融合技术，使生成结果更逼真。大量的面部实验表明，我们的方法能够保持更好的身份特征，尤其是面部形状，并且比之前的最先进方法生成更逼真的结果。

Jun, 2021

FlowFace：基于语义流指导和形状感知的人脸交换

本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换，FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部，从而获得更加逼真的面部交换效果。

Dec, 2022

自适应潜在表示学习下的端到端人脸交换

本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架，通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合，从而提高人脸交换的真实性和广泛适用性，并证明了该方法优于现有的最先进方法。

Mar, 2023

FlowFace++：显式语义流监督的端到端人脸交换

本文提出了一种基于 FlowFace++ 的面部交换框架，利用明确的语义流监督和端到端架构来促进具有形状感知的人脸交换，并在野外人脸数据集上表现出色。

Jun, 2023

SimSwap：一种高保真人脸交换的高效框架

提出了一种高效的面部交换框架，称为 Simple Swap (SimSwap)，具有泛化和高保真度。通过使用 ID Injection Module (IIM) 将源面的身份信息传输到目标面，并通过提出的 Weak Feature Matching Loss 实现对特征的匹配，以实现属性的保留。在野外面部图像上的广泛实验表明，我们的 SimSwap 能够实现与先前最先进方法相同的身份性能，同时更好地保留属性。

Jun, 2021

通过可靠的监督提升通用人脸交换的可靠性

本研究提出一种可靠的 face swapping 框架，使用 cycle triplets 作为图像级别的指导，并通过 FixerNet 增强下半脸区域的表征，从而提高面部交换网络的性能和身份保留能力。

Jun, 2023

RobustSwap: 一种简单而健壮的人脸交换模型，能对属性泄露进行防护

本研究为了解决面部交换过程中源属性泄露的问题，通过分析 StyleGAN 的潜在空间，设计出一种名为 RobustSwap 的面部交换模型，同时利用 3DMM 的内隐和显性信息辅助实现源图像结构和目标图像姿态的精确匹配，最终通过定量和定性的实验表明 RobustSwap 模型在生成高保真和时空连贯图像和视频的能力方面优于先前的面部交换模型。

Mar, 2023