May, 2023
情感手势:协同语音的多样情感共述三维手势生成
EmotionGesture: Audio-Driven Diverse Emotional Co-Speech 3D Gesture Generation
Xingqun Qi, Chen Liu, Lincheng Li, Jie Hou, Haoran Xin...
TL;DREmotionGesture 是一种从音频生成真实共语手势的新型框架,其中通过情感节奏 - 振幅 - 对齐提取情感和音频节拍特征,并使用空间 - 时间提示器模型空间 - 时间相关性以生成空间 - 时间相关的提示,然后再用转换器模型生成 3D 共语手势,并通过运动平滑性添加稳定性来提高性能,并能够通过情感条件 VAE 生成丰富多样的情感结果。