Oct, 2020

使用分层深度潜变量模型进行概率角色动作合成

PDF
TL;DR提出了一种基于概率框架生成角色动画的方法，该方法基于弱控制信号生成逼真的动作序列，并保留人类运动的随机性。所提出的层次循环模型映射每个子序列的运动到一个随机潜变量代码，使用在时间领域上扩展的变分自动编码器。同时，提出一个考虑每个关节对姿势产生影响的目标函数，并基于角度距离比较关节角度。打造两个新的定量协议和人类定性评估，证明算法能够生成具有说服力和多样性的周期性和非周期性运动序列，而不需要强控制信号。
character animationsprobabilistic frameworkhierarchical recurrent modelvariational autoencodermotion sequences
发现论文，激发创造
  • 使用 VAEs 的任务通用分层人体动作先验

    本研究提出了一种新的深度生成模型，利用组合的全局和局部潜空间进行粗细粒度建模，独立于特定任务地学习复杂的人体运动，并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画，从不完整的观察中生成完整的运动。

    Jun, 2021

  • 基于分层样式网络的动作合成

    本文提出了一种自我监督的方法来生成多样且自然的人体动作，通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料，并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上，我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力，并且这种方法能够适应未见数据，在动态世界中这种生成的序列有实实在在的效果。

    Aug, 2020

  • 运动 VAE 使用的角色控制器

    该篇论文介绍了如何使用基于数据驱动的生成模型，结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成，并分析了 Motion VAEs 的局限性。

    Mar, 2021

  • 基于扩散概率模型的人 - 物交互的分层生成

    提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

    Oct, 2023

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • HP-GAN：通过 GAN 实现的概率三维人体动作预测

    本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法，用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务；该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练，并进行了多种动作类型和数据集的测试，其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。

    Nov, 2017

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 随心所欲：具有层次语义图的运动扩散模型细粒度控制

    提出了一种利用分层语义图实现对人体运动生成的细粒度控制的方法，通过将运动描述分解成三个层次的语义图，从整体到局部的结构帮助全面理解运动描述和对运动生成进行细粒度控制，并对分解的文本到运动扩散过程进行了优化，通过修改分层语义图的边权重，实现了生成运动的持续细化，具有超过基准数据集 HumanML3D 和 KIT 的优越性能。

    Nov, 2023

  • 递归变压器变分自编码器用于多动作运动合成

    通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。

    Jun, 2022

  • 基于弱监督的动作转移学习用于随机人体动作预测

    本文介绍了动作驱动的随机人体运动预测任务，提出了一种有效的多步预测模型和训练策略，结合深度学习模型和不同的时间编码模型以取得更好预测效果。

    May, 2022