May, 2023

ZS-MSTM: 基於對抗解綜多模態風格編碼的零樣式轉移理論在從文本和語音驅動的手勢動畫中的應用

TL;DR本研究利用机器学习方法进行虚拟代理人的行为风格建模,通过多模态数据进行风格转换,包括不同演讲者的手势合成。通过实验证明,该方法能更好地捕捉语音中的风格信息,不受测试阶段未见演讲者的影响。