Jan, 2024
Freetalker:基于扩散模型的可控语音和文本驱动手势生成以增强演讲者自然度
Freetalker: Controllable Speech and Text-Driven Gesture Generation Based on Diffusion Models for Enhanced Speaker Naturalness
Sicheng Yang, Zunnan Xu, Haiwei Xue, Yongkang Cheng, Shaoli Huang...
TL;DRFreeTalker 是首个生成语音驱动的手势和文本驱动的演讲者动作的框架,使用来自多种动作数据集的异构数据,并利用扩散模型进行训练,以及利用无分类器引导和生成先验以实现平滑剪辑过渡。