Dec, 2023

AMD：解剖运动扩散与可解释运动分解与融合

PDF
TL;DR通过利用大型语言模型解析输入的文本为与目标动作相对应的简明易懂的解剖脚本序列，本文提出了适应性运动扩散 (AMD) 模型，以解决现有方法难以处理复杂或长动作描述的问题。通过制定平衡输入文本和解剖脚本对逆扩散过程影响的两支融合方案，本方法能够自适应地确保合成动作的语义保真度和多样性。在包含较为复杂动作的数据集（例如 CLCD1 和 CLCD2）上的实验证明，我们的 AMD 显著优于现有的最先进模型。
发现论文，激发创造
  • 基础到高级的分层传播模型实现详细的文本到动作合成

    提出了一种基础到高级的分层扩散模型（B2A-HDM），用于协同利用低维和高维扩散模型进行高质量的详细动作合成，其多变量去噪框架和生成潜力的全面探索使其在真实性、模态一致性和多样性方面优于现有的顶尖方法。

    Dec, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • AAMDM: 加速的自回归运动扩散模型

    通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

    Dec, 2023

  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • 多样动作：通过离散扩散 实现多样人体动作生成

    DiverseMotion 是一种新的方法，通过保持运动多样性，在基于文本描述的高质量人体运动合成中为优先适应训练运动而牺牲动作多样性的现有方法提供解决方案。

    Sep, 2023

  • LaMD：视频生成的潜在运动扩散

    提出了一种基于 Motion Generation 的视频生成方法，通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性，采用了 LaMD 框架，包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分，实现了高质量、宽泛的运动生成，并在多个基准数据集上创造了新的最先进的性能。

    Apr, 2023

  • 使用 ChatGPT 改进的描述生成精细人类动作

    通过细粒度人体动作扩散模型 (FG-MDM) ，我们成功地生成了符合文本描述的多样化和高质量的人类动作，即使在训练数据分布之外。

    Dec, 2023

  • Fg-T2M：基于扩散模型的精细文本驱动人体运动生成

    通过结合语言结构辅助模块和上下文感知渐进推理模块，我们提出了一种细粒度的方法，用于生成支持精确文本描述的高质量、有条件的人体动作序列。实验证明，我们的方法在 HumanML3D 和 KIT 测试集上胜过了基于文本驱动的动作生成方法，并能够根据文本条件生成更好的视觉确认动作。

    Sep, 2023

  • LGTM: 本地到全局的文本驱动人体运动扩散模型

    本研究介绍了 LGTM，一种面向文本到动作生成的新颖的本地到全局流程。LGTM 利用扩散式架构，旨在解决将文本描述准确转化为在计算机动画中语义一致的人体动作的挑战。我们通过引入两阶段的流程来克服语义差异的问题，首先使用大型语言模型将全局动作描述分解为特定部位的叙述，然后使用独立的身体部位运动编码器处理以确保准确的局部语义对齐。最后，基于注意力机制的全身优化器对运动生成结果进行细化，并确保整体一致性。实验结果表明，LGTM 在生成局部准确、语义对齐的人体动作方面取得了显著改进，标志着文本到动作应用的重要进展。

    May, 2024