Feb, 2024

LatentSwap：一种高效的人脸换脸潜码映射框架

PDF
TL;DR提出了一种简单的人脸交换框架 LatentSwap，用于生成给定生成器的人脸交换潜在编码。利用随机采样的潜在编码，该框架轻巧且不需要数据集，只需使用预训练模型进行训练过程即可。损失目标只包括三个项，能够有效控制源图像和目标图像之间的人脸交换结果。通过附加一个独立于模型并使用 StyleGAN2 生成器的预训练 GAN 反演模型，我们的模型能够生成与其他竞争性人脸交换模型相媲美的照片级真实感和高分辨率图像。我们还展示了我们的框架适用于其他生成器，如 StyleNeRF，为 3D 感知的人脸交换铺平了道路，并且与其他下游 StyleGAN2 生成器任务兼容。源代码和模型可在 https://github.com/usingcolor/LatentSwap 找到。
face swappinglatent codegeneratorpre-trained modelsphotorealistic images
发现论文，激发创造
  • 自适应潜在表示学习下的端到端人脸交换

    本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架，通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合，从而提高人脸交换的真实性和广泛适用性，并证明了该方法优于现有的最先进方法。

    Mar, 2023

  • 基于潜在语义解缠的高分辨率人脸交换

    本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间 - 时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

    Mar, 2022

  • 高保真人脸换脸与风格融合

    通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

    Dec, 2023

  • ExtSwap: 利用扩展潜在映射器实现高质量的人脸换装

    使用逐渐增长的预训练 StyleGAN 的结构，提出一种新颖的人脸交换方法，通过分离身份和属性特征，并学习将这些特征映射到扩展潜空间，成功地实现了身份与属性的分离，并在质量和语义潜空间丰富性方面优于许多最先进的人脸交换方法，得到了广泛的实验证明。

    Oct, 2023

  • StyleSwap：基于风格的生成器增强了面部交换的鲁棒性

    本文提出了一种名为 StyleSwap 的简洁而有效的框架，将基于风格的生成器用于高保真和强大的人脸交换，可通过优化标识相似性来实现生成器的优势，并提出了 Swapping-Driven Mask Branch 和 Swapping-Guided ID Inversion 策略来进一步改进信息混合，实验证明本框架可产生高质量的人脸交换结果，优于现有最先进方法。

    Sep, 2022

  • RobustSwap: 一种简单而健壮的人脸交换模型，能对属性泄露进行防护

    本研究为了解决面部交换过程中源属性泄露的问题，通过分析 StyleGAN 的潜在空间，设计出一种名为 RobustSwap 的面部交换模型，同时利用 3DMM 的内隐和显性信息辅助实现源图像结构和目标图像姿态的精确匹配，最终通过定量和定性的实验表明 RobustSwap 模型在生成高保真和时空连贯图像和视频的能力方面优于先前的面部交换模型。

    Mar, 2023

  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • RSGAN：在潜空间中使用面部和头发表示进行面部交换和编辑

    本文提出了一种基于区域分隔生成对抗网络的自动生成和编辑人脸图像的综合系统，可以通过置换潜空间表示实现人脸的交换并在这个潜空间中进一步编辑面部特征或与随机生成的面部或头发部位组合。

    Apr, 2018

  • SimSwap：一种高保真人脸交换的高效框架

    提出了一种高效的面部交换框架，称为 Simple Swap (SimSwap)，具有泛化和高保真度。通过使用 ID Injection Module (IIM) 将源面的身份信息传输到目标面，并通过提出的 Weak Feature Matching Loss 实现对特征的匹配，以实现属性的保留。在野外面部图像上的广泛实验表明，我们的 SimSwap 能够实现与先前最先进方法相同的身份性能，同时更好地保留属性。

    Jun, 2021