May, 2023
ZS-MSTM: 基於對抗解綜多模態風格編碼的零樣式轉移理論在從文本和語音驅動的手勢動畫中的應用
ZS-MSTM: Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Mireille Fares, Catherine Pelachaud, Nicolas Obin
TL;DR本研究利用机器学习方法进行虚拟代理人的行为风格建模,通过多模态数据进行风格转换,包括不同演讲者的手势合成。通过实验证明,该方法能更好地捕捉语音中的风格信息,不受测试阶段未见演讲者的影响。