一拍即合人脸再现
使用预训练的 StyleGAN2 生成器,结合超网络技术,我们的神经脸部再现方法 HyperReenact 在一次性条件下,实现了逼真的说话头部图像的生成,消除了外部编辑方法通常产生的伪影,并具有出色的鲁棒性,甚至在极端头部姿势变化下也表现出卓越的性能。
Jul, 2023
本论文提出了一种神经面部 / 头部再现的框架,其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法,通过使用(精调)预训练的生成对抗网络,绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务,以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间,成功实现了对真实世界面部的再现。
Feb, 2024
在这篇论文中,我们提出了一种新的变形技术,将 2D 和 3D 方法的优势结合起来,以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场,并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间,从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域,然后学习对由于源面孔平移而需要填充的空白区域进行修复,我们重建了细节丰富的背景,而且在渲染无伪影的面部图像方面超过了现有技术。
Apr, 2024
提出了一种新颖的轻松适应管道 head2headFS,可以将源人的表情和整个头部姿势高质量地转移到目标人,使用源的密集 3D 面部形状信息来调节目标人的合成,fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器,具有 few-shot learning 功能。
Mar, 2021
本文提出了一种使用重建的三维网格作为指导学习复合脸合成所需光流的方法,以便更精确地实现表情和姿势,在定性和定量比较方面优于现有方法,并解决现有方法在单次或少次情况下的身份保护问题。
Aug, 2020
提出了一种名为 ReenactGAN 的基于学习的框架,可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间,使用变形器进行调整,最终生成重现的目标面孔,这一过程可以在实时(30 FPS 的 GTX 1080 GPU 上)中执行。
Jul, 2018
本文提出了一种新颖的生成对抗网络,用于单次面部再现,能够在保持面部原始外观的同时对单个面部图像进行不同的姿势和表情动画效果。作者们设计了外观自适应归一化机制和本地网络结构,用于集成外观信息和优化脸部生成器,实现更加精准的面部再现表达。实验结果表明,该模型在单次方法中取得了显著的效果提升。
Feb, 2021
本文提出了一种只需要输入一个源标识符和目标表情,便可生成一定质量的表情图片的一次性脸部再现模型,FaR-GAN,适用于图片处理和电影制作。将此方法应用于 VoxCeleb1 数据集并与其他方法进行比较取得更好的效果。
May, 2020
提出了一种基于图像的面部再现系统,其可用于将源视频用户的面孔替换为现有目标视频中演员的面孔,并保留原始目标性能,系统具有全自动化和不需要源表情数据库的特点,使用了图像检索和面部转移以产生令人信服的效果。
Feb, 2016