May, 2023
探索嘴唇运动中的音系上下文以生成真实的口型动画
Exploring Phonetic Context in Lip Movement for Authentic Talking Face Generation
Se Jin Park, Minsu Kim, Jeongsoo Choi, Yong Man Ro
TL;DR本文提出了一种基于音位上下文识别的口型同步框架(CALS),该框架通过引入对音位上下文的建模来生成空间时间上对齐的、相对稳定的对话人物口型。实验表明,CALS 大幅提高了视觉质量、口型同步质量和真实感,最终的口技可读性测试预测准确性达到了 97.7%。