无跳跃连接的换脸强化去混叠

Jul, 2023

Reinforced Disentanglement for Face Swapping without Skip Connection

Xiaohang Ren, Xingyu Chen, Pengfei Yao, Heung-Yeung Shum, Baoyuan Wang

TL;DR提出了一种名为 'WSC-swap' 的新的面部交换框架，通过消除 skip connections 并利用两个目标编码器来分别捕获非脸部区域属性和脸部区域的语义非身份属性，并使用对抗训练中的身份移除损失和 3DMM 模型中的非身份保留损失来进一步加强目标编码器的解开交织性，并在 FaceForensics ++ 和 CelebA-HQ 上进行了广泛的实验。

Abstract

The SOTA face swap models still suffer the problem of either target identity (i.e., shape) being leaked or the target non-identity attributes (i.e., background, hair) failing to be fully preserved in the final results. We show that this insufficient disentanglement is caused by two fla

face swap disentanglement learning encoder identity removal loss non-identity preservation loss

发现论文，激发创造

基于潜在语义解缠的高分辨率人脸交换

本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间 - 时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

Mar, 2022

BlendFace: 重新设计面部交换的身份编码器

本研究提出了 BlendFace，一种用于换脸的新型身份编码器，通过在混合图像上训练面部识别模型并引导生成器，解决了现有方法中存在的身份 - 属性纠缠问题。大量实验证明 BlendFace 在换脸模型中提高了身份与属性的分离效果，并且在定量性能上与之前的方法相当。

Jul, 2023

FlowFace++：显式语义流监督的端到端人脸交换

本文提出了一种基于 FlowFace++ 的面部交换框架，利用明确的语义流监督和端到端架构来促进具有形状感知的人脸交换，并在野外人脸数据集上表现出色。

Jun, 2023

FlowFace：基于语义流指导和形状感知的人脸交换

本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换，FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部，从而获得更加逼真的面部交换效果。

Dec, 2022

自鉴换脸：基于形状不可知掩蔽自编码器的自监督人脸换脸

通过引入自重建训练方案，使用 Shape Agnostic Masked AutoEncoder（SAMAE）来解决传统方法的局限性，包括模型训练不稳定性、目标身份泄露问题和形状错位问题，以实现在保留身份和非身份属性的同时，超越其他基准方法的全新最新技术。

Feb, 2024

面部转换器：实现高保真度和准确率的人脸交换

本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

Apr, 2023

RobustSwap: 一种简单而健壮的人脸交换模型，能对属性泄露进行防护

本研究为了解决面部交换过程中源属性泄露的问题，通过分析 StyleGAN 的潜在空间，设计出一种名为 RobustSwap 的面部交换模型，同时利用 3DMM 的内隐和显性信息辅助实现源图像结构和目标图像姿态的精确匹配，最终通过定量和定性的实验表明 RobustSwap 模型在生成高保真和时空连贯图像和视频的能力方面优于先前的面部交换模型。

Mar, 2023

ExtSwap: 利用扩展潜在映射器实现高质量的人脸换装

使用逐渐增长的预训练 StyleGAN 的结构，提出一种新颖的人脸交换方法，通过分离身份和属性特征，并学习将这些特征映射到扩展潜空间，成功地实现了身份与属性的分离，并在质量和语义潜空间丰富性方面优于许多最先进的人脸交换方法，得到了广泛的实验证明。

Oct, 2023

区域感知人脸交换

本文提出了一种新颖的区域感知脸部交换（RAFSwap）网络，以局部 - 全局方式实现一致性、和谐性和高分辨率的面部生成。

Mar, 2022

高保真人脸换脸与风格融合

通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

Dec, 2023