Nov, 2023

SyncTalk: 谈话头部合成中的关键：同步问题

PDF
TL;DR实现逼真的说话驱动的头像视频合成中的高度同步性是一个重要挑战。我们介绍了一种名为 SyncTalk 的基于 NeRF 的方法，通过使用 Face-Sync 控制器将嘴唇运动与语音对齐，创新地使用 3D 脸部混合形状模型捕捉准确的面部表情，并通过 Head-Sync 稳定器优化头部姿势，实现了更加自然的头部运动，从而在同步和逼真性方面优于现有方法。
talking head videossynchronizationneural radiance fieldslip movementsrealism
发现论文，激发创造
  • 带节奏头部动作的虚拟说话人生成

    本文提出一种基于 3D-aware 生成网络、混合嵌入和非线性合成模块的方法，通过显式建模头部运动和面部表情，精心处理 3D 动画以及动态嵌入参考图像，实现了可控、逼真、时序连贯的说话者头像视频，并在多个标准基准测试中表现出优异的结果。

    Jul, 2020

  • NeRFFaceSpeech：一次性音频驱动的 3D 说话头合成基于生成先验

    使用 NeRF 和生成模型的先验知识，提出了一种名为 NeRFFaceSpeech 的新方法，通过空间同步和补全缺失信息，实现了从单一图像生成具有增强的 3D 一致性的语音驱动的说话头部。

    May, 2024

  • 高斯说话人：通过三维高斯喷洒合成特定说话人的形象

    使用 3D 高斯散点图作为基础，GaussianTalker 是一种基于音频驱动的说话人头部合成方法，具有准确的唇部同步和优秀的视觉质量，超过现有最先进的方法，并具有实时渲染性能。

    Apr, 2024

  • 形变神经辐射场一次高保真说话头合成

    本文提出了 HiDe-NeRF，其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性，从而实现高保真和自由视角的说话头合成。

    Apr, 2023

  • 一种全面的多尺度方法用于说话者外貌生成中的语音和动态同步

    利用深度生成模型和语音输入信号来为静止的面部图像添加动画是当前的研究热点，本文提出了一种多尺度音频视觉同步损失和多尺度自回归生成对抗网络来更好地处理语音和头部以及嘴唇之间的短期和长期关联，通过在面部关键点域中训练多模态输入金字塔上的同步模型堆栈，再结合多尺度生成网络以在不同时间尺度上生成音频对齐的动画，实验结果表明在头部动作质量和多尺度音频视觉同步方面相较于最新技术有显著提高。

    Jul, 2023

  • Talk3D：个性化 3D 生成先验的高保真说话肖像合成

    Talk3D 是一种新的音频驱动的说话头合成框架，通过有效地采用预训练的 3D 感知生成先验模型，可以忠实地重建其合理的面部几何形状。通过音频驱动的注意力 U-Net 架构，我们的模型预测 NeRF 空间中由音频驱动的动态面部变化，并由与音频无关的调节令牌调制，有效地解耦与音频特征无关的变化。与现有方法相比，我们的方法在生成逼真的面部几何形状方面表现出色，即使在极端的头部姿势下也能如此。我们还进行了广泛的实验证明我们的方法在定量和定性评估方面超越了现有的最新基准。

    Mar, 2024

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • 基于文本的情感和节奏对话头生成

    本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

    Apr, 2021

  • SyncTalkFace：通过音 - 唇记忆实现精准嘴唇同步的说话人脸生成

    该论文提出了一个名为 Audio-Lip Memory 的技术，使用存储在音频特征中的唇部运动信息来帮助生成与音频最匹配的嘴形，从而使得面部运动与音频之间出现了更加精细的时序一致性，实现了更高质量的谈话面部生成。

    Nov, 2022

  • GeneFace++: 实时稳定的通用音频驱动 3D 口型生成

    GeneFace++ 是目前第一个实现了稳定和实时的通用音频 - 唇形同步对话人肖像生成，并通过采用辅助特征、引入时间损失、设计计算效率高的 NeRF 模型等方法处理了唇形同步、视频质量和系统效率等方面的挑战。

    May, 2023