面部转换器：实现高保真度和准确率的人脸交换

Apr, 2023

面部转换器：实现高保真度和准确率的人脸交换

Face Transformer: Towards High Fidelity and Accurate Face Swapping

Kaiwen Cui, Rongliang Wu, Fangneng Zhan, Shijian Lu

TL;DR本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

Abstract

face swapping aims to generate swapped images that fuse the identity of source faces and the attributes of target faces. Most existing works address this challenging task through 3D modelling or generation using generative adversarial networks (GANs), but 3D modelling suffers from limi

face swapping identity preservation target attributes transformer network multi-scale transformation

发现论文，激发创造

高保真人脸换脸与风格融合

通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

Dec, 2023

FaceShifter：高保真度且遮挡感知的人脸交换

本研究提出了一种名为 FaceShifter 的新型两阶段框架，用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性，在第一阶段生成高清晰度的换脸图像，其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题，我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明，我们的技术不仅在感知上更好，而且还有更好的身份保护能力。

Dec, 2019

BlendFace: 重新设计面部交换的身份编码器

本研究提出了 BlendFace，一种用于换脸的新型身份编码器，通过在混合图像上训练面部识别模型并引导生成器，解决了现有方法中存在的身份 - 属性纠缠问题。大量实验证明 BlendFace 在换脸模型中提高了身份与属性的分离效果，并且在定量性能上与之前的方法相当。

Jul, 2023

FlowFace：基于语义流指导和形状感知的人脸交换

本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换，FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部，从而获得更加逼真的面部交换效果。

Dec, 2022

通过可靠的监督提升通用人脸交换的可靠性

本研究提出一种可靠的 face swapping 框架，使用 cycle triplets 作为图像级别的指导，并通过 FixerNet 增强下半脸区域的表征，从而提高面部交换网络的性能和身份保留能力。

Jun, 2023

区域感知人脸交换

本文提出了一种新颖的区域感知脸部交换（RAFSwap）网络，以局部 - 全局方式实现一致性、和谐性和高分辨率的面部生成。

Mar, 2022

StyleSwap：基于风格的生成器增强了面部交换的鲁棒性

本文提出了一种名为 StyleSwap 的简洁而有效的框架，将基于风格的生成器用于高保真和强大的人脸交换，可通过优化标识相似性来实现生成器的优势，并提出了 Swapping-Driven Mask Branch 和 Swapping-Guided ID Inversion 策略来进一步改进信息混合，实验证明本框架可产生高质量的人脸交换结果，优于现有最先进方法。

Sep, 2022

基于生成对抗网络的人脸转换

提出了一种基于生成对抗网络的端到端人脸转移方法，使用 CycleGAN 生成目标角色的面部图像并探究了 PatchGAN 以及不同感受野大小对生成图像的影响。

Oct, 2017

自适应潜在表示学习下的端到端人脸交换

本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架，通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合，从而提高人脸交换的真实性和广泛适用性，并证明了该方法优于现有的最先进方法。

Mar, 2023

RobustSwap: 一种简单而健壮的人脸交换模型，能对属性泄露进行防护

本研究为了解决面部交换过程中源属性泄露的问题，通过分析 StyleGAN 的潜在空间，设计出一种名为 RobustSwap 的面部交换模型，同时利用 3DMM 的内隐和显性信息辅助实现源图像结构和目标图像姿态的精确匹配，最终通过定量和定性的实验表明 RobustSwap 模型在生成高保真和时空连贯图像和视频的能力方面优于先前的面部交换模型。

Mar, 2023