Oct, 2023

CorrTalk: 面部动作和语音层次间的相关性对 3D 动画的影响

PDF
TL;DR通过建立语音特征和面部活动强度之间的时序相关性，本研究提出了 CorrTalk 框架来有效地合成具有不同强度面部活动的面部动画，并通过加权分级特征编码器确保了口型同步和逼真的面部表情。大量的定性和定量实验证明，我们的 CorrTalk 优于现有的最先进方法。
speech-driven 3d facial animationfacial activity intensitytemporal correlationhierarchical speech featuresdual-branch decoding framework
发现论文，激发创造
  • CSTalk: 协作监督的语音驱动 3D 情感面部动画生成

    本研究提出了一种名为 CSTalk 的方法，通过建模面部运动不同区域之间的相关性并监督生成模型的训练，生成符合人脸运动模式的真实表情，解决了语音驱动的 3D 面部动画技术中面临的数据限制、唇部对齐以及面部表情自然度等挑战，实验结果表明我们的方法优于现有最先进的方法。

    Apr, 2024

  • 基于语音的 3D 面部动画及复合和区域面部运动

    通过在时域和空域中考虑面部运动的复合性和局部性，论文介绍了一种自适应调制模块来改善语音驱动的三维面部动画，并提出了一种非自回归骨干结构来翻译音频为三维面部动作，从而在定性和定量上优于当代最先进的方法。

    Aug, 2023

  • PMMTalk：基于互补伪多模特征的语音驱动 3D 面部动画

    PMMTalk 是一种使用伪多模态特征的新框架，通过跨模态对齐模块和 PMMTalk 解码器提高面部动画的准确性，同时引入面部混合形状系数，从而产生更准确的结果。

    Dec, 2023

  • MeshTalk: 通过跨模态分离实现从语音到三维面部动画

    本文提出了一种利用音频生成三维面部动画的通用方法，该方法建立一个针对面部动画的分类潜空间，根据音频相关和不相关的信息进行信息分离，实现面部动画中高度逼真的运动合成结果，包括高准确度的唇部运动，以及未相关到音频信号的面部其他部位的合理动画，此方法在定性和定量方面均优于现有基线，且具有高逼真度。

    Apr, 2021

  • CodeTalker: 利用离散运动先验驱动的语音驱动 3D 面部动画

    本文提出将基于语音的面部动画转化为在学习到的码本的有限代理空间中的代码查询任务，有效地减少了跨模态映射的不确定性，从而提高了生成的运动的生动性，并且通过使用一个自动回归模型，演示了我们方法在视觉和感知质量上均优于当前最先进的方法。

    Jan, 2023

  • 单发音讯视觉相关性学习生成单次语言人脸

    本文提出了一种基于 AVCT 的新型一次性说话脸部生成框架，通过从特定说话者的音频和视觉动作中探索一致的相关性，然后将基于密集运动场的音频驱动的运动场转移至参考图像，以生成具有真实嘴部形状和生动运动的视频。

    Dec, 2021

  • 朝着变量和协调的整体语音运动生成

    通过 ProbTalk 的统一概率框架，以综合协调性和可变性为核心，生成自然多样的整体语音运动，从而比现有方法在质量和数量上都实现了更高的真实度。

    Mar, 2024

  • 一种全面的多尺度方法用于说话者外貌生成中的语音和动态同步

    利用深度生成模型和语音输入信号来为静止的面部图像添加动画是当前的研究热点，本文提出了一种多尺度音频视觉同步损失和多尺度自回归生成对抗网络来更好地处理语音和头部以及嘴唇之间的短期和长期关联，通过在面部关键点域中训练多模态输入金字塔上的同步模型堆栈，再结合多尺度生成网络以在不同时间尺度上生成音频对齐的动画，实验结果表明在头部动作质量和多尺度音频视觉同步方面相较于最新技术有显著提高。

    Jul, 2023

  • DualTalker: 语音驱动的三维面部动画的跨模态双重学习方法

    通过交叉模态的双学习框架和辅助的模态一致性损失，提高数据使用效率、关联交叉模态的依赖关系，并增强微妙面部表情动力学的映射，从而在语音驱动三维面部动画中提高性能。

    Nov, 2023

  • Hallo: 分层音频驱动的肖像图像动画综合

    通过采用扩散法为基础的方法框架，该研究提出了一种音频驱动下的肖像图像动画技术，通过引入层次化的音频驱动视觉合成模块，实现了更准确的音频输入与视觉输出的对齐，包括嘴唇、表情和姿势的动作，并通过定性和定量分析进行综合评估。

    Jun, 2024