Oct, 2023
为面部注入生命：利用自然头部姿势和详细形状进行由语音驱动的 3D 面部动画
Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape
Wei Zhao, Yijun Wang, Tianyu He, Lianying Yin, Jianxin Lin...
TL;DRVividTalker 是一个新框架，旨在辅助具有灵活头部姿势和自然面部细节的以语音驱动的 3D 面部动画，通过将面部动画显式地分解为头部姿势和口腔运动，并将其单独编码为离散潜在空间，然后利用基于窗口的 Transformer 架构通过自回归过程生成这些特征。在与语音内容一致的情况下，使用新的 3D 数据集构建了具有详细形状的面部细节合成并学习。广泛的定量和定性实验证明，VividTalker 胜过了现有最先进的方法，实现了生动逼真的以语音驱动的 3D 面部动画。