ICCVAug, 2019

FSGAN: 面部交换和重现（无主题）

PDF
TL;DR本文提出了一种基于 GAN 的脸部交换和演绎方法，其中采用了 RNN 和 Delaunay Triangulation 来进行脸部再现，并使用 Poisson blending loss 来实现融合。与现有技术相比，本方法在定性和定量方面均有更好的表现。
face swapping ganface reenactmentrnndelaunay triangulationpoisson blending loss
发现论文，激发创造
  • FSGANv2：改进的主体无关人脸交换和重现技术

    本研究提出了一种基于深度学习的面部交换生成对抗网络（FSGAN），用于面部交换和活体重放，包括一种新颖的迭代深度学习方法，可用于面部活体重放，采用重建三角形和重心坐标的方法连续插值，使用面部补全网络处理被遮挡的面部区域，最终采用一种新型泊松混合损失融合两张面孔并保持目标肤色和照明条件。

    Feb, 2022

  • FaR-GAN 用于一次性人脸再现

    本文提出了一种只需要输入一个源标识符和目标表情，便可生成一定质量的表情图片的一次性脸部再现模型，FaR-GAN，适用于图片处理和电影制作。将此方法应用于 VoxCeleb1 数据集并与其他方法进行比较取得更好的效果。

    May, 2020

  • FACEGAN：面部属性可控再现的 GAN

    本文介绍了一种基于动作单元控制的人脸重现 GAN（FACEGAN）算法，以解决在人脸动作重现过程中面部结构和身份信息的泄漏问题，并实验证明该算法相对于现有方法效果更好。

    Nov, 2020

  • ReenactGAN: 基于边缘传递学习复制面部表情

    提出了一种名为 ReenactGAN 的基于学习的框架，可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间，使用变形器进行调整，最终生成重现的目标面孔，这一过程可以在实时（30 FPS 的 GTX 1080 GPU 上）中执行。

    Jul, 2018

  • 使用外貌自适应归一化进行单次面部换脸重现

    本文提出了一种新颖的生成对抗网络，用于单次面部再现，能够在保持面部原始外观的同时对单个面部图像进行不同的姿势和表情动画效果。作者们设计了外观自适应归一化机制和本地网络结构，用于集成外观信息和优化脸部生成器，实现更加精准的面部再现表达。实验结果表明，该模型在单次方法中取得了显著的效果提升。

    Feb, 2021

  • 高保真人脸换脸与风格融合

    通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

    Dec, 2023

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • RSGAN：在潜空间中使用面部和头发表示进行面部交换和编辑

    本文提出了一种基于区域分隔生成对抗网络的自动生成和编辑人脸图像的综合系统，可以通过置换潜空间表示实现人脸的交换并在这个潜空间中进一步编辑面部特征或与随机生成的面部或头发部位组合。

    Apr, 2018

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • FSNet: 基于身份认知的图像人脸交换生成模型

    本文介绍了一种基于深度生成模型的图像人脸交换技术，使用神经网络代替面部纹理，应用于只需提供两张面部图像的交换中，能够更好地处理不同面孔朝向和光照条件的情况，并在多个实验中证明了该方法优于现有方法。

    Nov, 2018