Jun, 2018

具条件的顺序生成对抗网络下基于语音的表情丰富的说话嘴唇模型

PDF
TL;DR该论文提出了一种基于条件生成对抗网络的技术，该技术能够通过提取的带感情的语音特征来生成具自然性和表现力的口型动画，实验结果表明该技术与三种最先进的方法相比在客观和主观上都有明显的改进。
orofacial movementsvirtual agentsconditional generative adversarial networkemotionlexicon
发现论文，激发创造
  • CSTalk: 协作监督的语音驱动 3D 情感面部动画生成

    本研究提出了一种名为 CSTalk 的方法，通过建模面部运动不同区域之间的相关性并监督生成模型的训练，生成符合人脸运动模式的真实表情，解决了语音驱动的 3D 面部动画技术中面临的数据限制、唇部对齐以及面部表情自然度等挑战，实验结果表明我们的方法优于现有最先进的方法。

    Apr, 2024

  • 基于条件生成对抗网络的语音驱动人脸再现

    利用递归神经网络和条件生成对抗网络，根据音频输入生成具有准确口型同步的逼真面部图像。

    Mar, 2018

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • 情感可控泛化说话脸生成

    本文提出了一种面部生成方法，使用基于语音内容特征的图卷积神经网络，结合独立的情感输入，生成面部几何感知标记表示上的情感和语音感应运动，并在此基础上，利用光流引导的纹理生成网络生成纹理。

    May, 2022

  • 情感和说话者条件下的语速生成

    使用 CREMA-D 数据集，利用带情感的 GAN 生成相对于中性语音的音素长度，可以提供给 TTS 系统以生成更具表现力的语言。使用 IMLE 训练的生成模型也能够实现更好的中性语音机器生成，但仍需进一步主观评价的研究。

    Jan, 2023

  • 基于条件循环对抗网络的说话人脸生成

    提出一种基于条件对抗生成的视频网络，该网络将音频输入作为条件并考虑面部图像在不同视频帧之间的时间依赖性，从而实现唇部和面部平稳过度，最终通过音频片段提取的音素分布信息，开发出一种样本选择方法，可以在不降低生成视频质量的情况下有效减小训练数据集的规模。

    Apr, 2018

  • 基于时间 GAN 的端到端语音驱动的面部动画

    使用时间依赖的 GAN 模型和音视频同步的方法，实现了从原始音频和人物图像生成高质量且与个体无关的自然面部表情和嘴唇运动的视频。

    May, 2018

  • 利用 GAN 实现逼真的语音驱动面部动画

    本文介绍了一种基于语音信号自动生成会说话的角色的方法，该方法使用了端到端的系统并使用 Generative Adversarial Network (生成对抗网络) 来确保视频与音频的实时同步，并且产生了自然的面部表情。

    Jun, 2019

  • 情感演讲驱动的动画，包含内容 - 情感解缠技术

    为了实现面部三维动画的情感表达和语音的同步，研究者开发了一种名为 EMOTE 的系统，它通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达。

    Jun, 2023

  • Articulation GAN：无监督建模关节学习

    通过引入 Articulatory Generator 至 Generative Adversarial Network 范式，我们提出了一种新的无监督生成语音生成 / 合成模型，它通过学习以完全无监督的方式生成关节表征（电磁关节成像术或 EMA）更加贴近于人类语音生成。研究表明，该网络学会了像人类一样在语音生产过程中控制关节，还能够生成训练分布中存在和缺失的词语，因此对人类语言的认知模型和言语技术产生了重要的影响

    Oct, 2022