运动 VAE 使用的角色控制器
本研究提出了一种新的深度生成模型,利用组合的全局和局部潜空间进行粗细粒度建模,独立于特定任务地学习复杂的人体运动,并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画,从不完整的观察中生成完整的运动。
Jun, 2021
本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成,以及改进行为识别和降噪等两种应用。
Apr, 2021
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用 Lie Algebra 理论和时序变分自编码器(VAE)来生成 3D 的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020
本文提出了一种新颖的动作序列生成方法 MT-VAE,它可以利用动作序列之间的转换关系,学习运动方式的特征嵌入和运动方式之间的特征变换,从而生成多样性且逼真的面部和全身运动,并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
提出了一种基于概率框架生成角色动画的方法,该方法基于弱控制信号生成逼真的动作序列,并保留人类运动的随机性。所提出的层次循环模型映射每个子序列的运动到一个随机潜变量代码,使用在时间领域上扩展的变分自动编码器。同时,提出一个考虑每个关节对姿势产生影响的目标函数,并基于角度距离比较关节角度。打造两个新的定量协议和人类定性评估,证明算法能够生成具有说服力和多样性的周期性和非周期性运动序列,而不需要强控制信号。
Oct, 2020
本文提出了一种基于生物学启发的有条件时间变分自编码器(BI-CTVAE)的模型,用于连续学习涉及时间序列的任务,特别是人类运动,最终将其应用于生成运动序列的连续学习中,并在人类运动数据集上进行测试,结果分类准确率为 78%,比不使用重放模型高 63%,仅比离线训练最先进的 GRU 模型低 5.4%。
Nov, 2022
本文介绍应用生成对抗性模仿学习方法,通过有限的高维仿人体运动演示数据,训练神经网络策略以产生类人的运动模式,并利用该方法构建子技能策略解决高维身体姿态控制任务。
Jul, 2017
通过 split cross-modal 潜变量为 shared 和 motion-specific 两部分,结合 mapping network, relaxed motion loss, bicycle constraint 和 diversity loss 技术来训练条件变分自编码器,从而更加真实和多样的生成语音到动作的映射。
Aug, 2021
提出了一种基于变分自编码器和循环神经网络的视频生成和未来预测框架,通过时间条件抽样和属性控制的方式提高视频生成的一致性和质量,能够在给定属性和 / 或第一帧的情况下生成多样但高度一致的视频序列。
Mar, 2018