May, 2024
SwapTalk:基于音频驱动的一键定制潜空间内的说话人脸生成
SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space
Zeren Zhang, Haibo Qin, Jiayu Huang, Yixin Li, Hui Lin...
TL;DR通过结合人脸交换和嘴唇同步技术,本文提出了一种创新的统一框架 SwapTalk,在相同的潜在空间中同时完成人脸交换和嘴唇同步任务,并引入了专家鉴别器指导和身份一致性度量等技术提高视频质量、同步准确性和身份一致性。