Mar, 2018

生成式对抗谈头：用弱监督神经网络将肖像栩栩如生

PDF
TL;DR本文提出了一种名为 GATH 的新型深度生成神经网络，利用动作单元系数实现任意肖像的完全自动面部表情合成。与以往工作不同，GATH 仅仅需要数据驱动，无需人脸模型或图像处理技巧实现面部变形。此外，我们还提出了一种弱监督对抗学习框架，通过生成器、判别器、分类器和动作单元估计器有效地学习该模型，从而实现了无模板目标的表情编辑。
generative adversarial talking headfacial expression synthesisdeep generative neural networkaction unit coefficientsweakly supervised adversarial learning
发现论文，激发创造
  • GANimation：从单张图片生成有结构意识的面部动画

    该论文提出一种基于 Action Units 注释的新颖 GAN 条件方案，允许控制每个 AU 的激活幅度并结合其中几个。此外，它还提出了一种完全无监督的训练策略，并利用注意力机制使网络对不断变化的背景和光照条件具有鲁棒性，能够比竞争性条件生成器更广泛地合成生理可行的肌肉运动的表情。

    Jul, 2018

  • 基于区域的面部动作单元对抗合成

    本文提出了一种面部动作单元（AU）级别的面部表情合成方法，使用基于 AU 注释的本地注意条件生成对抗网络（LAC-GAN）控制 AU 状态，并使用非配对训练数据训练操纵模块， 在常用的 BP4D 数据集上进行定量和定性评估以验证该方法的有效性。

    Oct, 2019

  • 面向说话头部视频生成的深度感知生成对抗网络

    本文提出了一种基于深度学习的方法，使用自监督几何学习从人脸视频中自动恢复精细的三维几何结构，并应用于生成高度逼真的人脸视频。

    Mar, 2022

  • 基于学习的个性化头部姿势音频驱动的说话人脸视频生成

    本文提出了一种基于深度神经网络的方法，通过输入音频信号和短视频，生成个性化头部姿态、表情和口型同步，并使用记忆增强的生成对抗网络模块来优化合成效果的自然对话人脸视频。实验表明，该方法可以在较少帧数的情况下生成高质量、自然的对话人脸视频。

    Feb, 2020

  • 几何引导的对抗性面部表情合成

    本文提出一种几何引导生成对抗网络 (G2-GAN)，通过面部几何条件（标识点）来引导特定表情的面部纹理合成，实现逼真的与身份保护面部表情合成，并取得了良好的实验效果。

    Dec, 2017

  • 情感谈话头像生成基于记忆共享和注意力增强网络

    该研究提出了一个能够通过音频和静态人脸图像生成高保真动态 “说话人头像” 的神经网络模型。该模型包括一个从音频中提取情感特征的神经网络和一个基于 U-net 的注意力增强翻译器，可以更精准地估计面部关键点，并将其与照片般逼真的视频帧相结合，达到了比其他先前研究更好的实验效果。

    Jun, 2023

  • 基于条件生成对抗网络的语音驱动人脸再现

    利用递归神经网络和条件生成对抗网络，根据音频输入生成具有准确口型同步的逼真面部图像。

    Mar, 2018

  • 基于深度神经网络的逼真面对面对话系统

    本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

    Aug, 2019

  • 情感可控泛化说话脸生成

    本文提出了一种面部生成方法，使用基于语音内容特征的图卷积神经网络，结合独立的情感输入，生成面部几何感知标记表示上的情感和语音感应运动，并在此基础上，利用光流引导的纹理生成网络生成纹理。

    May, 2022

  • FACIAL：利用隐式属性学习合成动态言语人脸

    本文提出了一种通过音频信号和短视频剪辑生成逼真的视频头像的方法，该方法包括 FACIAL-GAN （FACe Implicit Attribute Learning Generative Adversarial Network）和 Rendering-to-Video 网络，并可以产生不仅与语音同步的唇部运动，而且还有自然的头部运动和眼部闪烁。

    Aug, 2021