ICCVSep, 2023

音频驱动的说话人生成的高效情绪适应

PDF
TL;DR通过参数高效的调整，情感适应音频驱动的说话头（EAT）方法可以有效地将无情感的说话头模型转换为可控情感的模型，从不同的角度引入三种轻量级适应方式，实现精确而逼真的情感控制，并在广泛应用的基准测试中取得了最先进的性能表现。
audio-driven talking-head synthesisemotional adaptation for audio-driven talking-head (eat) methodparameter-efficient adaptationsemotion controlstate-of-the-art performance
发现论文，激发创造
  • 情感谈话头像生成基于记忆共享和注意力增强网络

    该研究提出了一个能够通过音频和静态人脸图像生成高保真动态 “说话人头像” 的神经网络模型。该模型包括一个从音频中提取情感特征的神经网络和一个基于 U-net 的注意力增强翻译器，可以更精准地估计面部关键点，并将其与照片般逼真的视频帧相结合，达到了比其他先前研究更好的实验效果。

    Jun, 2023

  • DREAM-Talk: 基于扩散的逼真情感音频驱动的单张图像说话脸生成方法

    DREAM-Talk 是一个两阶段扩散式音频驱动框架，通过 EmoDiff 生成多样的动态情感表达和姿态，并使用音频特征和情感风格来提升唇部同步准确性，通过视频到视频渲染模块将情感和唇部运动从虚拟 3D 头像传输到任意肖像，在表达性、唇部同步准确性和感知质量方面超过现有方法。

    Dec, 2023

  • 基于文本的情感和节奏对话头生成

    本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

    Apr, 2021

  • EDTalk: 高效情感演讲头部合成

    本研究提出了一个用于言语生成的高效解开耦合框架 (EDTalk)，该框架具有分解面部动态的能力，允许对嘴型、头部姿势和情绪表达进行个别操作，并能根据视频或音频输入进行条件设置。我们通过三个轻量级模块将面部动态分解为分别代表嘴部、姿势和表情的三个独立潜在空间，并利用可学习的基向量对每个空间内的特定运动进行定义。我们通过在基向量之间施加正交性约束并设计了高效的训练策略来加速训练过程，同时保证独立性。学习到的基向量存储在相应的存储器中，以实现与音频输入的共享先验知识。另外，鉴于每个空间的特性，我们还提出了一个音频到运动模块，用于音频驱动的言语生成。实验证明了 EDTalk 的有效性。

    Apr, 2024

  • 听、解缠与控制：可控语音驱动的说话人头像生成

    提出了一种名为 SPEAK 的一次性 Talking Head Generation 框架，通过情感和姿势控制实现与一般 Talking Face Generation 的区别。该方法采用 Inter-Reconstructed Feature Disentanglement (IRFD) 方法将人脸特征解耦为三个潜在空间，并设计了一个面部编辑模块，将语音内容和面部潜在编码修改为单一的潜在空间。进一步，提出了一种新颖的生成器，利用编辑模块生成的修改后的潜在编码来调节情感表达、头部姿势和语音内容，以合成面部动画。大量实验表明，该方法可以生成具有协调的唇部运动、真实的面部情感和平滑的头部运动的逼真说话角色。

    May, 2024

  • FaceTalk：面部动作驱动的神经参数化头部模型的运动扩散

    FaceTalk 是一种新颖的生成方法，用于从输入音频信号中合成具有高保真度的人头部 3D 运动序列。

    Dec, 2023

  • 利用分离音频表示动态表情

    提出一种基于声音分解学习的方法来提高音频驱动的视频生成的性能，从而使生成的视频更鲁棒。

    Oct, 2019

  • Ada-TTA：自适应高质量文本到语音头像合成

    本文提出 Adaptive Text-to-Talking Avatar（Ada-TTA），该方法在语音识别的背景下，设计了通用的零样本多扬声器 TTS 模型，并采用神经渲染技术来实现逼真的音频驱动的说话面部视频生成，实现了身份保护言语和逼真的说话人视频。

    Jun, 2023

  • 情感演讲驱动的动画，包含内容 - 情感解缠技术

    为了实现面部三维动画的情感表达和语音的同步，研究者开发了一种名为 EMOTE 的系统，它通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达。

    Jun, 2023

  • Audio2Head：基于音频的单次对话生成，自然的头部运动

    本文提出一种基于音频驱动的头像动画方法，该方法同时解决了面部动画和头部运动的问题，并且采用了神经网络来预测和生成头部和面部的动画以及背景的动作。通过关键点密集的运动场表示，本方法产生的头像动画具有很好的空间和时间连续性，并且性能优于现有技术。

    Jul, 2021