本研究提出了一种自监督学习的方法来学习面部视频的稠密三维几何结构，用于进一步引导面部特征点估计和生成高度逼真的聊天头像视频。

May, 2023

本文提出了一种基于深度神经网络的方法，通过输入音频信号和短视频，生成个性化头部姿态、表情和口型同步，并使用记忆增强的生成对抗网络模块来优化合成效果的自然对话人脸视频。实验表明，该方法可以在较少帧数的情况下生成高质量、自然的对话人脸视频。

Feb, 2020

本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

Apr, 2023

本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

Jun, 2022

本研究提出了一种新颖的 3D 感知说话人视频动作迁移网络 Head3D，通过生成可视化可解释的 3D 标准头部，从 2D 主体帧中充分利用主体外貌信息，以适应驱动视频帧对齐。我们的方法的一个关键组成部分是自我监督的 3D 头部几何学习模块，能够从 2D 主体视频帧预测头部姿势和深度图。此外，我们还采用基于注意力的融合网络，将主体帧的背景和其他细节与 3D 主体头部相结合，生成合成目标视频。我们在两个公共说话人视频数据集上进行了广泛实验，结果表明 Head3D 在实际的跨身份设置中优于 2D 和 3D 先前方法，有证据显示它能够轻松适应受控姿态的新视图合成任务。

Nov, 2023

Talk3D 是一种新的音频驱动的说话头合成框架，通过有效地采用预训练的 3D 感知生成先验模型，可以忠实地重建其合理的面部几何形状。通过音频驱动的注意力 U-Net 架构，我们的模型预测 NeRF 空间中由音频驱动的动态面部变化，并由与音频无关的调节令牌调制，有效地解耦与音频特征无关的变化。与现有方法相比，我们的方法在生成逼真的面部几何形状方面表现出色，即使在极端的头部姿势下也能如此。我们还进行了广泛的实验证明我们的方法在定量和定性评估方面超越了现有的最新基准。

Mar, 2024

利用 3D 几何和生成对抗网络设计了一种新的深度学习架构，用于实现面部和头部再现任务，通过全新的序列生成器和动态判别器网络，可以以几乎实时的速度（18 fps）以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。

Jun, 2020

本文提出了一种基于 3D 面部表示的 HeadGAN 新系统，可以从任何驱动视频中提取，并适应于任何参考图像的面部几何形状，从而解决头部再现问题。通过利用音频特征作为补充输入，进一步改善嘴部运动，并将身份与表情分离，使其具有压缩和重建、表情和姿势编辑的功能。

Dec, 2020

本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演图像的优异品质和在不同身份之间转移面部动作的灵活性。

Mar, 2020

PV3D 提出了第一种生成性框架，它可以合成多视角一致的肖像视频，通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。

Dec, 2022