Dec, 2023

高保真人脸换脸与风格融合

PDF
TL;DR通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。
发现论文，激发创造
  • 自适应潜在表示学习下的端到端人脸交换

    本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架，通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合，从而提高人脸交换的真实性和广泛适用性，并证明了该方法优于现有的最先进方法。

    Mar, 2023

  • StyleSwap：基于风格的生成器增强了面部交换的鲁棒性

    本文提出了一种名为 StyleSwap 的简洁而有效的框架，将基于风格的生成器用于高保真和强大的人脸交换，可通过优化标识相似性来实现生成器的优势，并提出了 Swapping-Driven Mask Branch 和 Swapping-Guided ID Inversion 策略来进一步改进信息混合，实验证明本框架可产生高质量的人脸交换结果，优于现有最先进方法。

    Sep, 2022

  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • BlendFace: 重新设计面部交换的身份编码器

    本研究提出了 BlendFace，一种用于换脸的新型身份编码器，通过在混合图像上训练面部识别模型并引导生成器，解决了现有方法中存在的身份 - 属性纠缠问题。大量实验证明 BlendFace 在换脸模型中提高了身份与属性的分离效果，并且在定量性能上与之前的方法相当。

    Jul, 2023

  • BlendGAN: 隐式 GAN 混合用于任意化风格脸部生成

    提出了一种称为 BlendGAN 的方法，使用灵活的混合策略和通用的艺术数据集进行任意样式的面部生成，使用自监督样式编码器从艺术数据集中提取表示，并提出了一种加权混合模块 (WBM) 来隐式地混合面部和样式表示。通过这样做，BlendGAN 可以优雅地适合统一模型中的任意样式，并避免对样式一致性训练图像逐案例准备。

    Oct, 2021

  • 基于潜在语义解缠的高分辨率人脸交换

    本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间 - 时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

    Mar, 2022

  • FaceShifter：高保真度且遮挡感知的人脸交换

    本研究提出了一种名为 FaceShifter 的新型两阶段框架，用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性，在第一阶段生成高清晰度的换脸图像，其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题，我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明，我们的技术不仅在感知上更好，而且还有更好的身份保护能力。

    Dec, 2019

  • RobustSwap: 一种简单而健壮的人脸交换模型，能对属性泄露进行防护

    本研究为了解决面部交换过程中源属性泄露的问题，通过分析 StyleGAN 的潜在空间，设计出一种名为 RobustSwap 的面部交换模型，同时利用 3DMM 的内隐和显性信息辅助实现源图像结构和目标图像姿态的精确匹配，最终通过定量和定性的实验表明 RobustSwap 模型在生成高保真和时空连贯图像和视频的能力方面优于先前的面部交换模型。

    Mar, 2023

  • FSGANv2：改进的主体无关人脸交换和重现技术

    本研究提出了一种基于深度学习的面部交换生成对抗网络（FSGAN），用于面部交换和活体重放，包括一种新颖的迭代深度学习方法，可用于面部活体重放，采用重建三角形和重心坐标的方法连续插值，使用面部补全网络处理被遮挡的面部区域，最终采用一种新型泊松混合损失融合两张面孔并保持目标肤色和照明条件。

    Feb, 2022

  • LatentSwap：一种高效的人脸换脸潜码映射框架

    提出了一种简单的人脸交换框架 LatentSwap，用于生成给定生成器的人脸交换潜在编码。利用随机采样的潜在编码，该框架轻巧且不需要数据集，只需使用预训练模型进行训练过程即可。损失目标只包括三个项，能够有效控制源图像和目标图像之间的人脸交换结果。通过附加一个独立于模型并使用 StyleGAN2 生成器的预训练 GAN 反演模型，我们的模型能够生成与其他竞争性人脸交换模型相媲美的照片级真实感和高分辨率图像。我们还展示了我们的框架适用于其他生成器，如 StyleNeRF，为 3D 感知的人脸交换铺平了道路，并且与其他下游 StyleGAN2 生成器任务兼容。源代码和模型可在 https://github.com/usingcolor/LatentSwap 找到。

    Feb, 2024