Dec, 2023

EMDM：快速、高质量运动生成的高效运动扩散模型

PDF
TL;DR引入高效动作扩散模型（EMDM）用于快速高质量的人体动作生成，通过建模复杂的去噪分布在多个采样步骤中实现更大的采样步长和较少的步骤，加速生成过程并保持高质量的运动生成。
efficient motion diffusion modelmotion generationmotion latent diffusionconditional denoising diffusion ganmotion synthesis
发现论文，激发创造
  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • AAMDM: 加速的自回归运动扩散模型

    通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

    Dec, 2023

  • 通过引导式扩散模型实现可控人体动作合成

    本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。

    May, 2023

  • 针对风格化行走合成的去噪扩散概率模型

    本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

    Sep, 2022

  • 单运动扩散

    本文介绍了一种名为 SinMDM 的单一运动模型，使用扩散模型和针对单一运动的去噪网络设计，能够学习任意长度的与原来的运动片段相似的动画并且高效快速。SinMDM 可应用于各种场景，包括运动合成，风格迁移和人群动画。

    Feb, 2023

  • LaMD：视频生成的潜在运动扩散

    提出了一种基于 Motion Generation 的视频生成方法，通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性，采用了 LaMD 框架，包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分，实现了高质量、宽泛的运动生成，并在多个基准数据集上创造了新的最先进的性能。

    Apr, 2023

  • VIDM: 视频隐式扩散模型

    该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

    Dec, 2022

  • 可控的运动扩散模型

    该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

    Jun, 2023

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • 优先级中心的离散潜空间人体运动生成

    文本到动作生成是一项艰巨的任务，本文介绍一种优先级中心的运动分散扩散模型（M2DM），利用基于 Transformer 的 VQ-VAE 得出简洁的、离散的动作表示，通过全局自注意机制和正则化项来抵消代码坍塌。我们还提出了一种运动离散扩散模型，它采用了一种创新的噪声调度方式，根据整个运动序列中每个动作标记的重要性来确定。该方法在逆扩散过程中保留了最显著的动作，从而产生更丰富多样的语义动作。在 HumanML3D 和 KIT-ML 数据集上进行的综合实验证实了我们的模型在保真度和多样性方面超过了现有技术，尤其对于复杂的文本描述。

    Aug, 2023