通过 Recurrent Transformers 和条件变分自编码器的结合,我们提出了一种新的迭代式方法,能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证,表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。
Jun, 2022
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用 Lie Algebra 理论和时序变分自编码器(VAE)来生成 3D 的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020
本文提出了一种新颖的动作序列生成方法 MT-VAE,它可以利用动作序列之间的转换关系,学习运动方式的特征嵌入和运动方式之间的特征变换,从而生成多样性且逼真的面部和全身运动,并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
该篇论文介绍了如何使用基于数据驱动的生成模型,结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成,并分析了 Motion VAEs 的局限性。
Mar, 2021
提出一种新颖的框架,同时处理手势识别和 3D 未来手势预测,借助生成式 Transformer VAE 架构来联合捕捉两个方面,从而实现通过利用时间戳间观察到的短期手势和长期动作一致性,促进现实动作预测,确保手势姿势和动作的语义依赖和不同时间粒度的忠实表示。
Nov, 2023
本研究提出了一种新的深度生成模型,利用组合的全局和局部潜空间进行粗细粒度建模,独立于特定任务地学习复杂的人体运动,并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画,从不完整的观察中生成完整的运动。
Jun, 2021
本文介绍了动作驱动的随机人体运动预测任务,提出了一种有效的多步预测模型和训练策略,结合深度学习模型和不同的时间编码模型以取得更好预测效果。
May, 2022
本文提出了一种基于生物学启发的有条件时间变分自编码器(BI-CTVAE)的模型,用于连续学习涉及时间序列的任务,特别是人类运动,最终将其应用于生成运动序列的连续学习中,并在人类运动数据集上进行测试,结果分类准确率为 78%,比不使用重放模型高 63%,仅比离线训练最先进的 GRU 模型低 5.4%。
Nov, 2022
本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架,并表明了通过常用的训练配方(EMA 和 Code Reset),我们可以获得高质量的离散表示。此外,我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差,并在 HumanML3D 数据集上表现出比竞争方法更好的性能。
Jan, 2023
利用 BABEL 动作文本集合,设计了一种基于 Transformer 的 TEACH 方法,能够根据自然语言描述生成符合语义的 3D 人体动作,实现由多个动作组成的时间动作构成。
Sep, 2022