该篇论文介绍了如何使用基于数据驱动的生成模型,结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成,并分析了 Motion VAEs 的局限性。
Mar, 2021
本文介绍了一种运用VAE和Transformer-Based架构实现人体运动序列的有条件生成,以及改进行为识别和降噪等两种应用。
Apr, 2021
本研究提出了一种新的深度生成模型,利用组合的全局和局部潜空间进行粗细粒度建模,独立于特定任务地学习复杂的人体运动,并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画,从不完整的观察中生成完整的运动。
Jun, 2021
本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法,可通过变分形式生成变长人体动作序列,使用Transformer解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法,甚至优于最先进的基于Transformer自编码器方法。
Mar, 2022
本文介绍了使用文本描述生成多样的3D人类动作的方法,并提出了TEMOS框架,它是一种基于变分自编码器的文本条件生成模型,可以产生多种不同的人体动作,实验证明TEMOS框架在KIT Motion-Language基准测试中取得了显著的改进。
Apr, 2022
通过 Recurrent Transformers 和条件变分自编码器的结合,我们提出了一种新的迭代式方法,能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证,表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。
Jun, 2022
本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架,并表明了通过常用的训练配方(EMA 和 Code Reset),我们可以获得高质量的离散表示。此外,我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差,并在 HumanML3D 数据集上表现出比竞争方法更好的性能。
Jan, 2023
通过量化多种身体部位的运动为其各自领域定制的码本,利用预训练模型将多模态信号转换为共享的潜在空间,并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌,最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务,利用基于控制信号模态的专门码本,具有可扩展性,能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。
Nov, 2023
本研究提出了一种新颖的运动生成框架,旨在同时基于文本和音频输入生成全身运动序列。通过结合向量量化变分自编码器(VQVAEs)和双向掩蔽语言模型(MLM)策略,我们显著提高了生成运动的处理效率和连贯性。该框架拓展了运动生成的可能性,克服了现有方法的局限性,为多模态运动合成开辟了新途径。
Sep, 2024
本研究针对文本提示生成类人动画中的面部表情和手部动作缺失问题,提出了一种两阶段的方法T2M-X,从部分标注的数据中学习表现性文本到动作生成。通过训练三种独立的矢量量化变分自编码器和多索引生成预训练变换器,该方法显著提高了生成运动的一致性和质量,显示出在数据集局限下的稳健性。