RobustSwap: 一种简单而健壮的人脸交换模型,能对属性泄露进行防护
通过一个创新的端到端框架,我们提出了一种高保真度的面部交换方法,其中使用了深度学习方法中的生成对抗网络(GANs)作为基础,通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块,解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验,与其他先进方法相比,我们的面部交换方法生成的图像具有更高的视觉质量,并且每个提出的模块都显著有效。源代码和权重将公开提供。
Dec, 2023
本文提出了一种名为 StyleSwap 的简洁而有效的框架,将基于风格的生成器用于高保真和强大的人脸交换,可通过优化标识相似性来实现生成器的优势,并提出了 Swapping-Driven Mask Branch 和 Swapping-Guided ID Inversion 策略来进一步改进信息混合,实验证明本框架可产生高质量的人脸交换结果,优于现有最先进方法。
Sep, 2022
提出了一种高效的面部交换框架,称为 Simple Swap (SimSwap),具有泛化和高保真度。通过使用 ID Injection Module (IIM) 将源面的身份信息传输到目标面,并通过提出的 Weak Feature Matching Loss 实现对特征的匹配,以实现属性的保留。在野外面部图像上的广泛实验表明,我们的 SimSwap 能够实现与先前最先进方法相同的身份性能,同时更好地保留属性。
Jun, 2021
本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架,通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合,从而提高人脸交换的真实性和广泛适用性,并证明了该方法优于现有的最先进方法。
Mar, 2023
本研究提出一种可靠的 face swapping 框架,使用 cycle triplets 作为图像级别的指导,并通过 FixerNet 增强下半脸区域的表征,从而提高面部交换网络的性能和身份保留能力。
Jun, 2023
本文描述了一种新颖的人脸交换网络,使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应,实现在交换后的脸部图像中同时保留源身份和目标属性。
Apr, 2023
使用逐渐增长的预训练 StyleGAN 的结构,提出一种新颖的人脸交换方法,通过分离身份和属性特征,并学习将这些特征映射到扩展潜空间,成功地实现了身份与属性的分离,并在质量和语义潜空间丰富性方面优于许多最先进的人脸交换方法,得到了广泛的实验证明。
Oct, 2023
提出了一种简单的人脸交换框架 LatentSwap,用于生成给定生成器的人脸交换潜在编码。利用随机采样的潜在编码,该框架轻巧且不需要数据集,只需使用预训练模型进行训练过程即可。损失目标只包括三个项,能够有效控制源图像和目标图像之间的人脸交换结果。通过附加一个独立于模型并使用 StyleGAN2 生成器的预训练 GAN 反演模型,我们的模型能够生成与其他竞争性人脸交换模型相媲美的照片级真实感和高分辨率图像。我们还展示了我们的框架适用于其他生成器,如 StyleNeRF,为 3D 感知的人脸交换铺平了道路,并且与其他下游 StyleGAN2 生成器任务兼容。源代码和模型可在 https://github.com/usingcolor/LatentSwap 找到。
Feb, 2024
提出了一种名为 "Smooth-Swap" 的新的人脸交换模型,该模型采用平滑的身份嵌入来提供稳定的梯度,使得训练更稳定快速,并且在人脸交换评估基准上表现出与现有方法相媲美和优越等特点。
Dec, 2021
本文提出一种基于 GAN 模型的高分辨率人脸交换方法,通过显式地将潜在空间的语义进行分离,并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息,进而获得丰富的生成特征。通过加入空间 - 时间约束,将这种方法进一步扩展到视频人脸交换,并在实验证明,该方法在幻觉质量和连续性方面优于现有方法。
Mar, 2022