May, 2024

稳定 MoFusion：面向稳健高效的基于扩散的运动生成框架

PDF
TL;DR通过对网络架构、训练策略和推理过程的深入分析，我们根据研究结果为高质量的人体运动生成定制了每个组件，最终提出了稳定的人体运动生成框架 StableMoFusion，并通过大量实验证明其在与当前最先进方法的比较中表现出色。
发现论文，激发创造
  • 基于运动扩散的全局一致随机人体动作预测

    该论文提出了一种基于扩散的随机人体运动预测框架 DiffMotion，旨在预测未来的姿势序列，并通过使用多阶段图卷积网络和方差调度器，使预测结果准确、逼真、一致，同时在准确度和保真度方面明显优于先前的方法，并通过基准数据集展现了强大的鲁棒性。

    May, 2023

  • 利用去噪扩散概率模型统一人类动作合成和风格传递

    本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

    Dec, 2022

  • MoVideo：使用扩散模型的运动感知视频生成

    提出一种新的运动感知视频生成 (MoVideo) 框架，从视频深度和光流两个方面考虑运动，并通过稀疏 - 时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。

    Nov, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • ReMoDiffuse: 基于检索辅助的运动扩散模型

    本研究提出了一种基于扩散模型的动作生成框架 ReMoDiffuse，它集成了一种检索机制以改善去噪过程，提高了文本驱动动作生成的通用性和多样性，并且在更多样化的动作生成方面表现出色，优于现有的最先进方法。

    Apr, 2023

  • 利用扩散模型进行即时样式迁移的学习：一种语义引导方法

    我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

    Mar, 2024

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 基于扩散概率模型的人 - 物交互的分层生成

    提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

    Oct, 2023

  • 针对风格化行走合成的去噪扩散概率模型

    本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

    Sep, 2022