运动VAE使用的角色控制器
本研究旨在将数据驱动的行为规范与能够在物理模拟中执行类似行为的系统相结合,以实现对扰动和环境变化的逼真响应。通过将运动模仿目标与任务目标相结合,我们可以训练出能够在交互环境中智能反应的角色,例如向所需方向行走或向用户指定目标扔球。同时,本研究探讨了多种集成多个运动片段的方法,以开发出能够执行丰富多样的技能的多才多艺的代理。
Apr, 2018
本文提出了一种新颖的动作序列生成方法MT-VAE,它可以利用动作序列之间的转换关系,学习运动方式的特征嵌入和运动方式之间的特征变换,从而生成多样性且逼真的面部和全身运动,并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
本研究提出了一种基于深度姿态估计和深度强化学习的方法,使得物理模拟的角色能够从公开视频片段中学习技能,并提供了一个快速设计角色控制器的方法,结果是鲁棒的,并能够适应新的环境并预测人类动作.
Oct, 2018
利用对抗性模仿学习的方法自动选择带有无结构动作片段数据集的物理模拟角色的行为,无需手动设计仿制目标和运动选择机制。该方法在训练对抗性运动先验的同时也自动选择要执行的运动,并能够轻松地适应大型的无结构运动片段数据集,且不需要高级运动规划器或其他任务特定的运动片段注释。在一系列的模拟案例和挑战性的运动控制任务中,我们展示了其有效性。
Apr, 2021
本文介绍了一种运用VAE和Transformer-Based架构实现人体运动序列的有条件生成,以及改进行为识别和降噪等两种应用。
Apr, 2021
本研究提出了一种新的深度生成模型,利用组合的全局和局部潜空间进行粗细粒度建模,独立于特定任务地学习复杂的人体运动,并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画,从不完整的观察中生成完整的运动。
Jun, 2021
本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法,可通过变分形式生成变长人体动作序列,使用Transformer解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法,甚至优于最先进的基于Transformer自编码器方法。
Mar, 2022
通过 Recurrent Transformers 和条件变分自编码器的结合,我们提出了一种新的迭代式方法,能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证,表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。
Jun, 2022
该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架,通过强化学习控制器和控制策略,实现了对虚拟角色的实时、多样化运动生成,可以适应用户的实时命令,同时还可以预测更多多样化的动作。
Jun, 2023
TLControl是一种新的方法,结合了低级轨迹和高级语义控制,用于合成真实的人类动作,在轨迹准确性和时间效率方面胜过现有技术,可实用于交互式和高质量的动画生成。
Nov, 2023