Jun, 2020

Head2Head++: 深度人脸属性再定向

PDF
TL;DR利用 3D 几何和生成对抗网络设计了一种新的深度学习架构，用于实现面部和头部再现任务，通过全新的序列生成器和动态判别器网络，可以以几乎实时的速度（18 fps）以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。
facial video re-targeting3d geometrygenerative adversarial networksfacial and head reenactmentphoto-realistic
发现论文，激发创造
  • Head2Head: 视频基于神经元头部综合

    本文提出了一种新的面部再现的机器学习架构，该方法利用卷积神经网络进行特征提取及实现面部运动，注重嘴部及时间一致性，实现了将源角色的面部表情、姿势和视线传输到目标视频中，比现有技术更精确地展现了真实人像。

    May, 2020

  • Head2HeadFS：基于视频的头部逆向再现，低样本学习

    提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。

    Mar, 2021

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • HeadGAN：一次性神经头部合成和编辑

    本文提出了一种基于 3D 面部表示的 HeadGAN 新系统，可以从任何驱动视频中提取，并适应于任何参考图像的面部几何形状，从而解决头部再现问题。通过利用音频特征作为补充输入，进一步改善嘴部运动，并将身份与表情分离，使其具有压缩和重建、表情和姿势编辑的功能。

    Dec, 2020

  • HeadOn：人像视频实时重现

    使用 HeadOn 方法，我们可以将源头的运动，面部表情和眼神转移至目标人像视频，从而实现全身像的实时再现，具备高度真实感和灵活性。

    May, 2018

  • 面向说话头部视频生成的深度感知生成对抗网络

    本文提出了一种基于深度学习的方法，使用自监督几何学习从人脸视频中自动恢复精细的三维几何结构，并应用于生成高度逼真的人脸视频。

    Mar, 2022

  • Face2Face: 实时 RGB 视频人脸捕获和再现

    Face2Face 是一种用于实时面部复刻的创新方法，可以通过非刚性基于模型的束缚，跟踪面部表情，实现来自单眼录制的目标视频序列的面部表情的动画化，并以逼真的方式重新渲染操作后的输出视频。

    Jul, 2020

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • DaGAN++：用于生成逼真视频的深度感知生成对抗网络

    本研究提出了一种自监督学习的方法来学习面部视频的稠密三维几何结构，用于进一步引导面部特征点估计和生成高度逼真的聊天头像视频。

    May, 2023