May, 2023

笑声重要：基于扩散模型的笑脸生成介绍

PDF
TL;DR本文提出了一种新颖的模型，可以在给定一个静止肖像和一个包含笑声的音频剪辑的情况下生成逼真的笑声序列，该模型使用扩散模型的最新进展，解决了传统面部动画方法的失败案例，针对笑声引入了一种评估指标，获得了所有指标的最先进表现。
speech-driven animationnon-verbal communicationlaughter sequencesfacial animation methodsdiffusion models
发现论文，激发创造
  • 笑话语：用笑声生成表情豐富的三维说话头部

    本文介绍了一种生成 3D 说话头部并能够表达真实笑声的新方法，通过 2D 视频和 3D 参数数据集的配对，展示了一种基于两阶段训练方案的强大基线模型，该模型在说话头部生成和表达笑声信号方面相比现有方法表现出优越性，并探索了真实化角色控制的潜在应用。

    Nov, 2023

  • 3DiFACE：基于扩散的语音驱动 3D 面部动画和编辑

    我们提出的 3DiFACE 方法是一种用于个性化语音驱动的 3D 面部动画和编辑的新方法。通过引入一种轻量级的音频条件扩散模型，我们能够在保持表现力丰富的唇部运动输出的同时，允许随机性和动作编辑。经过定量和定性评估，我们展示了我们的方法优于现有的技术，并产生更具保真度和多样性的语音驱动动画。

    Dec, 2023

  • 多模态驱动的人脸语音生成、人脸交换、扩散模型

    本研究提出了一种基于 Diffusion Models 和 Texture-Geometry-aware 的面部生成方法，采用基于纹理注视的模块准确地建模源和目标条件中的外观和几何线索之间的对应关系，并结合额外的隐式信息进行高保真度的面部生成，并且能够优雅地用于面部交换。

    May, 2023

  • 情感可控泛化说话脸生成

    本文提出了一种面部生成方法，使用基于语音内容特征的图卷积神经网络，结合独立的情感输入，生成面部几何感知标记表示上的情感和语音感应运动，并在此基础上，利用光流引导的纹理生成网络生成纹理。

    May, 2022

  • DREAM-Talk: 基于扩散的逼真情感音频驱动的单张图像说话脸生成方法

    DREAM-Talk 是一个两阶段扩散式音频驱动框架，通过 EmoDiff 生成多样的动态情感表达和姿态，并使用音频特征和情感风格来提升唇部同步准确性，通过视频到视频渲染模块将情感和唇部运动从虚拟 3D 头像传输到任意肖像，在表达性、唇部同步准确性和感知质量方面超过现有方法。

    Dec, 2023

  • SMILE: 多模态视频中笑声理解的数据集与语言模型

    人工智能在社交智能方面的挑战仍然存在，本研究提出了解释视频中人们笑声背后原因的新任务，并提出了一个包含视频和语言描述的数据集，通过利用大型语言模型的推理能力，生成了可以解释笑声的合理解释，进一步探究了该方法在其他视频理解任务中的可扩展性。

    Dec, 2023

  • AnimateMe: 通过扩散模型实现 4D 面部表情

    利用扩散模型 enhance 了图生成模型在 3D 领域的能力，以图神经网络作为去噪扩散模型，通过在网格空间上直接进行扩散过程并生成 3D 面部表情，实现了可控且高保真的 4D 面部动画合成。

    Mar, 2024

  • FaceDiffuser: 基于扩散的语音驱动 3D 面部动画合成

    用 FaceDiffuser 生成非确定性的深度学习模型，基于扩散技术和 HuBERT 预训练模型对音频输入进行编码，用于生成语音驱动的三维面部动画合成。

    Sep, 2023

  • 梦言：当表达头部生成遇见扩散概率模型

    利用扩散模型的潜力，提出了 DreamTalk 框架，通过精心设计的去噪网络、风格感知的唇部专家和风格预测器的关键组件，实现了生成具有表情的说话脸部的能力。

    Dec, 2023

  • EmoTalker: 通过扩散模型生成情感可编辑的说话脸部

    提出了基于扩散模型的 EmoTalker 方法，该方法能够在生成高质量的、可定制的面部表情时，保留原始肖像的身份特征，通过引入 Emotion Intensity Block 对来自提示的细粒度情绪进行分析和提取，从而增强了对文本输入的情感理解。

    Jan, 2024