本文提出了一种基于 StyleGAN 的新方法，将真实肖像图片嵌入潜空间，从而提供了对肖像图像头部姿态、面部表情和场景照明的直观编辑。通过 StyleRig，即一个预训练的神经网络，来实现参数空间中的语义编辑。我们设计了一种新的分层非线性优化问题来获得嵌入。添加了一项身份保护能量项，以保持面部完整性和空间连贯性。

Sep, 2020

在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

Dec, 2023

该研究提出了一种语音驱动的 Semantic-aware Speaking Portrait NeRF (SSP-NeRF) 模型，该模型可以通过两个语义感知模块处理细节本地面部语义和全局头颈关系，从而通过一个统一的神经辐射场呈现面部表情，且通过进行大规模非刚性的 Torso 变形来稳定人物的大比例非刚性运动。

Jan, 2022

该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

May, 2018

PV3D 提出了第一种生成性框架，它可以合成多视角一致的肖像视频，通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。

Dec, 2022

本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

Jun, 2022

本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

Mar, 2022

CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统，通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习，它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测，只需要使用手机拍摄的短视频进行训练，我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。

Sep, 2023

基于非结构化的 2D 图像集合，我们提出了一种可调节面部表情、头部姿势和肩膀运动的三维感知生成对抗网络，该网络能够生成多样且高质量的三维头像。

Sep, 2023

提出了 AniPortrait，这是一个由音频和参考肖像图像驱动的，用于生成高质量动画的新框架。通过从音频提取 3D 中间表示并将其投影到一系列 2D 面部标志中，然后使用强大的扩散模型和动画模块将标志序列转换为逼真且时间连续的肖像动画，实验结果表明 AniPortrait 在面部自然度、姿势多样性和视觉质量方面具有优势，因此提供了增强的感知体验。此外，我们的方法在灵活性和可控性方面具有相当大的潜力，可在面部动作编辑或面部再现等领域有效应用。

Mar, 2024