MaskRenderer：3D 注入多层面实际脸部再现
Face2Face 是一种用于实时面部复刻的创新方法，可以通过非刚性基于模型的束缚，跟踪面部表情，实现来自单眼录制的目标视频序列的面部表情的动画化，并以逼真的方式重新渲染操作后的输出视频。
Jul, 2020
在这篇论文中，我们提出了一种新的变形技术，将 2D 和 3D 方法的优势结合起来，以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场，并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间，从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域，然后学习对由于源面孔平移而需要填充的空白区域进行修复，我们重建了细节丰富的背景，而且在渲染无伪影的面部图像方面超过了现有技术。
Apr, 2024
该研究提出了一种基于一次学习的人脸复现系统，通过将目标人脸外观和源脸形状投影到潜在空间中，并学习一个共享解码器来使这两个潜在空间相关联，从而实现有效建模。该方法在 Mustache 和 Hair 区域照片合成的质量上比传统方法有很大提高，并且仅用一张目标图像训练便能实现与多张目标图像训练同样令人满意的结果.
Aug, 2019
提出一种名为 MarioNETte 的架构，其中包括图像注意力块、目标特征对齐和地标变换器组件，它能够在 few-shot setting 中产生高质量的被重新表演的面孔，并通过地标分离显着缓解了身份保存问题。
Nov, 2019
使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。
Jul, 2023
提出了一种基于图像的面部再现系统，其可用于将源视频用户的面孔替换为现有目标视频中演员的面孔，并保留原始目标性能，系统具有全自动化和不需要源表情数据库的特点，使用了图像检索和面部转移以产生令人信服的效果。
Feb, 2016
本文提出利用个性化生成器进行面部复原的新方法，通过采用个性化的生成器，我们可以拍摄一个短且多样化的自我扫描视频以训练我们的生成器，并结合精心设计的潜在优化来确保图像保持身份，并展示我们的方法在面部复原方面具有最先进的性能，同时可以进行语义编辑和风格化处理。
Jul, 2023
介绍了一种名为 VOODOO XP 的 3D 感知一次性头部复现方法，可以从任何输入驱动视频和单个 2D 肖像中生成高度表情丰富的面部表情。该方法具有实时性、视角一致性，并且可以即刻使用，无需校准或微调。在单眼视频设置和端到端虚拟现实远程呈现系统中演示了该解决方案，用于双向交流。与 2D 复现方法相比，3D 感知方法旨在保留主体的身份，并确保对新的相机姿势视角一致的面部几何，从而使其适用于沉浸式应用。我们通过一种新颖的交叉复现架构，将驱动者的面部表情直接转移给输入源的 3D 抬升模块的变压器块来展示了高度有效的分解。我们展示了一种创新的多阶段自我监督方法，该方法基于粗到细的策略，并在初始训练阶段进行了明确的面部中性化和 3D 抬升正向化。我们进一步将这种新颖的头部复现解决方案集成到一个可访问的高保真虚拟现实远程呈现系统中，任何人都可以立即从任何照片创建个性化的神经头像，并使用头戴式显示器赋予其生命。我们在大量多样的主题和捕获环境上展示了在表情丰富性和相似性保持方面的最新性能。
May, 2024
提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。
Mar, 2021