这篇论文系统地研究了最新的深度学习和计算机视觉技术在逼真说话头部生成方面的方法，将它们分为图像驱动、音频驱动、视频驱动和其他（包括神经辐射场（NeRF）和基于 3D 的方法）四种主要方法，并深入分析每种方法的独特贡献、优势和局限性。此外，还对公开可用的模型进行了全面比较，在推理时间和生成输出的质量等关键方面进行了评估。本文的目标是提供一个清晰而简明的关于当前说话头部生成领域的概述，阐明不同方法之间的关系，并确定未来研究的有希望的方向。这个综述将为对这个快速发展领域感兴趣的研究人员和从业者提供有价值的参考。

Aug, 2023

本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

Apr, 2023

本文提出了一个用于评估生成 “说话人头像” 视频的基准，并提出了一些新的或最合适的度量标准来考虑视频保持身份一致性、嘴唇同步性，高视频质量和自然运动，以分析多种先进技术的优缺点并提出未来工作的有希望的方向。

May, 2020

提出了一种新颖的神经网络生成模型，采用关键点作为运动信息的表征形式，从而实现了面部图像的生成，降低了视频会议的带宽要求。

Nov, 2020

我们提出了一种基于扩散变压器的新型对话头合成流程，利用音频作为条件来驱动扩散模型的去噪过程。我们的方法具有可扩展性，可以推广到多个身份，同时产生高质量的结果。通过与现有的对话头合成方法进行比较，我们对我们提出的方法进行训练和评估，并展示了我们的模型在视觉质量和嘴唇同步准确性方面可以与这些方法竞争。我们的结果突显了我们提出的方法在包括虚拟助手、娱乐和教育在内的广泛应用中的潜力。请参阅我们的补充材料以获取结果和用户研究的视频演示。

Dec, 2023

本文提出了一种从单个面部图像与仅含音频的输入生成富有表现力的谈话头像的方法，并能以单一的统一框架中合成艺术绘画、素描、2D 卡通角色、日本漫画和风格化漫画等图像，并通过定量和定性方法的评估以及用户研究，证明其比现有技术的生成头像的质量显着更高。

Apr, 2020

本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

Apr, 2021

本文提出了一个基于 ID 保持的讲话头生成框架，改进了以往的方法，使用密集地标点实现精确的几何感知流场与自适应融合源身份，使用元学习方法实现快速个性化模型的快速适应，并且增加时空增强模块以提高细节和时序性，实验表明本文的方法在单次和个性化设置中均显著优于现有技术。

Dec, 2022

通过采用扩散法为基础的方法框架，该研究提出了一种音频驱动下的肖像图像动画技术，通过引入层次化的音频驱动视觉合成模块，实现了更准确的音频输入与视觉输出的对齐，包括嘴唇、表情和姿势的动作，并通过定性和定量分析进行综合评估。

Jun, 2024

该研究提出了一种基于转录的视频编辑新方法，可以实现修改视频内容、消除废话词，同时保持音视频流畅的无缝过渡，并使用注释参数和优化策略生成最终逼真的视频输出。

Jun, 2019