May, 2024

使用扩散模型进行受形状限制的人体动作生成

PDF
TL;DR我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。
human motion synthesiscomputer graphicscomputer visionmotion diffusion modelspectral-temporal autoencoder
发现论文，激发创造
  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • 运动乐章：将静态图像转化为动态视频

    通过将语义和动作线索整合到扩散模型中，我们引入了一种用于视频生成的新方法，它显著提升了视频质量、动作精度和语义连贯性。

    Mar, 2024

  • 通过引导式扩散模型实现可控人体动作合成

    本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。

    May, 2023

  • 单运动扩散

    本文介绍了一种名为 SinMDM 的单一运动模型，使用扩散模型和针对单一运动的去噪网络设计，能够学习任意长度的与原来的运动片段相似的动画并且高效快速。SinMDM 可应用于各种场景，包括运动合成，风格迁移和人群动画。

    Feb, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 基于运动条件的扩散模型用于可控视频合成

    介绍了一种使用条件扩散模型的视频合成方法（MCDiff），可以通过一组笔画控制视频的内容和动态，达到了良好的视觉效果。

    Apr, 2023

  • 优先级中心的离散潜空间人体运动生成

    文本到动作生成是一项艰巨的任务，本文介绍一种优先级中心的运动分散扩散模型（M2DM），利用基于 Transformer 的 VQ-VAE 得出简洁的、离散的动作表示，通过全局自注意机制和正则化项来抵消代码坍塌。我们还提出了一种运动离散扩散模型，它采用了一种创新的噪声调度方式，根据整个运动序列中每个动作标记的重要性来确定。该方法在逆扩散过程中保留了最显著的动作，从而产生更丰富多样的语义动作。在 HumanML3D 和 KIT-ML 数据集上进行的综合实验证实了我们的模型在保真度和多样性方面超过了现有技术，尤其对于复杂的文本描述。

    Aug, 2023

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 基础到高级的分层传播模型实现详细的文本到动作合成

    提出了一种基础到高级的分层扩散模型（B2A-HDM），用于协同利用低维和高维扩散模型进行高质量的详细动作合成，其多变量去噪框架和生成潜力的全面探索使其在真实性、模态一致性和多样性方面优于现有的顶尖方法。

    Dec, 2023

  • AMD：解剖运动扩散与可解释运动分解与融合

    通过利用大型语言模型解析输入的文本为与目标动作相对应的简明易懂的解剖脚本序列，本文提出了适应性运动扩散 (AMD) 模型，以解决现有方法难以处理复杂或长动作描述的问题。通过制定平衡输入文本和解剖脚本对逆扩散过程影响的两支融合方案，本方法能够自适应地确保合成动作的语义保真度和多样性。在包含较为复杂动作的数据集（例如 CLCD1 和 CLCD2）上的实验证明，我们的 AMD 显著优于现有的最先进模型。

    Dec, 2023