Apr, 2019

使用 GAN 进行可解释和可控的人脸换脸技术

PDF
TL;DR本文提出了一种能够控制人脸图像姿态和表情的通用人脸动画生成器，使用人类可解释的控制信号来驱动动画，并结合了多种源信息进行后期编辑，使用自我监督学习方法，得到了比多数对比方法更优质、更易操作的面部重现网络。
face animatorhuman interpretable control signalsneural networkface reenactment networkvideo editing
发现论文，激发创造
  • FACEGAN：面部属性可控再现的 GAN

    本文介绍了一种基于动作单元控制的人脸重现 GAN（FACEGAN）算法，以解决在人脸动作重现过程中面部结构和身份信息的泄漏问题，并实验证明该算法相对于现有方法效果更好。

    Nov, 2020

  • AniFaceGAN: 为视频头像生成可动画 3D 感知人脸图像

    本研究提出一种可动画的 3D 感知生成对抗网络用于多视角一致的人脸动画生成，通过将 3D 感知生成对抗网络的 3D 表示分解为模板场和形变场，并提出 3D 级模仿学习方案，帮助我们实现高质量的动画面部图像生成并具有较强的可视化 3D 一致性。

    Oct, 2022

  • 生成可解释人脸技术 (GIF)

    该研究使用预定义的控制参数来调节生成过程，进而产生了一种具有参数控制的生成式人脸模型 GIF，它结合了 3D 主题的控制和 GANs 的高保真生成，经过感知研究得出 GIF 表现良好。

    Aug, 2020

  • GANimation：从单张图片生成有结构意识的面部动画

    该论文提出一种基于 Action Units 注释的新颖 GAN 条件方案，允许控制每个 AU 的激活幅度并结合其中几个。此外，它还提出了一种完全无监督的训练策略，并利用注意力机制使网络对不断变化的背景和光照条件具有鲁棒性，能够比竞争性条件生成器更广泛地合成生理可行的肌肉运动的表情。

    Jul, 2018

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • 通过自监督分离身份和姿势实现逼真的人脸复原

    本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演图像的优异品质和在不同身份之间转移面部动作的灵活性。

    Mar, 2020

  • 可控神经人脸图像生成

    本文介绍了 ConfigNet，这是一种神经人脸模型，它使用合成数据将潜空间分解为传统渲染管道的输入元素，从而实现对输出图像中的个别方面进行以语义有意义的方式控制，其中实际图像扩展了生成图像的多样性并鼓励真实性

    May, 2020

  • FReeNet: 多身份人脸重演

    本文介绍了一种新的多身份人脸再现框架 FReeNet，其采用联合地标转换器和几何感知生成器来实现从任意源面孔到具有共享模型的目标面孔的面部表情转换。

    May, 2019

  • InterFaceGAN：解读 GAN 学习的分解人脸表示

    本文介绍了一种名为 InterFaceGAN 的框架，通过解析状态最先进的 GAN 模型学习的分离面部表示，并研究在潜在空间中编码的面部语义属性特性，可以实现面部属性的真实操作而不必重新训练模型，并且可以更准确地控制特征操作。

    May, 2020

  • ICE-GAN: 基于图推理的身份感知和胶囊增强型 GAN 用于微表情识别与合成

    本文提出了一种基于生成对抗网络的方法 (ICE-GAN)，加入微表情合成作为辅助任务以辅助微表情的自动识别，并在微表情相关挑战赛中获得了比冠军高出 12.9% 的成绩。

    May, 2020