Apr, 2024

Learn2Talk: 3D 口型学习 2D 口型

PDF
TL;DR提出了一种名为 Learn2Talk 的学习框架，该框架可以通过利用 2D 说话面领域的两个专业点来构建更好的 3D 说话面网络，主要关注嘴唇同步、语音感知、音频 - 3D 动作回归网络等方面的研究。
speech-driven facial animation3d talking face2d talking facelip-syncspeech perception
发现论文，激发创造
  • DualTalker: 语音驱动的三维面部动画的跨模态双重学习方法

    通过交叉模态的双学习框架和辅助的模态一致性损失，提高数据使用效率、关联交叉模态的依赖关系，并增强微妙面部表情动力学的映射，从而在语音驱动三维面部动画中提高性能。

    Nov, 2023

  • SelfTalk: 一个自监督交换训练图表以理解 3D 说话面孔

    通过引入自我监督的跨模态网络系统，学习了三维说话脸部的 SelfTalk 框架构建了一个由三个模块组成的网络系统，以提高口型生成的精度和准确性。

    Jun, 2023

  • 基於實境影像的音頻驅動 3D 臉部動畫

    本文提出了一种基于 2D 口型视频和 3D 面部重构方法训练的 3D 面部动画模型，该模型具有良好的泛化能力和包括口型同步在内的高保真度，能够捕捉不同个体的讲话风格并输出个性化的 3D 说话头像，经实验证明其优越性。

    Jun, 2023

  • AVI-Talking：学习音频 - 视觉指令用于表情丰富的 3D 说话脸生成

    利用大型语言模型指导实现具有表情细节合成能力的说话人脸生成系统，通过先理解语音信息并生成指令，再执行这些指令生成具有表情运动的生动说话人脸，实验证明该方法有效且具有一致的情感状态。

    Feb, 2024

  • 一种新颖的基于 CNN 和 LSTM 的语音驱动唇形同步模型

    使用一维卷积和 LSTM 的深度神经网络模型，结合语音识别模型和速度损失值的方式，实现了音频与动态唇形同步的三维面部建模和动画，其生成的平滑和自然唇部运动已经成功在汉语口音的成人中得到验证。

    May, 2022

  • LipSync3D：使用姿态和光照规范化从视频中高效学习个性化的三维说话脸

    本文提出了一种基于视频学习的框架，用于从音频中制作个性化的 3D 说话人脸，其中使用面部标准化和自回归方法来提高样本效率并生成高保真的口型同步视频。

    Jun, 2021

  • SyncTalkFace：通过音 - 唇记忆实现精准嘴唇同步的说话人脸生成

    该论文提出了一个名为 Audio-Lip Memory 的技术，使用存储在音频特征中的唇部运动信息来帮助生成与音频最匹配的嘴形，从而使得面部运动与音频之间出现了更加精细的时序一致性，实现了更高质量的谈话面部生成。

    Nov, 2022

  • MultiTalk: 多语种视频数据集增强跨语言的三维说话头生成

    通过多语种 2D 视频数据集，引入多语种增强模型，利用语言特定的样式嵌入，提高了 3D 说话人模型的多语种性能，并提出了度量多语种环境下的唇同步准确性指标。

    Jun, 2024

  • 为面部注入生命：利用自然头部姿势和详细形状进行由语音驱动的 3D 面部动画

    VividTalker 是一个新框架，旨在辅助具有灵活头部姿势和自然面部细节的以语音驱动的 3D 面部动画，通过将面部动画显式地分解为头部姿势和口腔运动，并将其单独编码为离散潜在空间，然后利用基于窗口的 Transformer 架构通过自回归过程生成这些特征。在与语音内容一致的情况下，使用新的 3D 数据集构建了具有详细形状的面部细节合成并学习。广泛的定量和定性实验证明，VividTalker 胜过了现有最先进的方法，实现了生动逼真的以语音驱动的 3D 面部动画。

    Oct, 2023

  • VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成

    提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。

    Dec, 2023