May, 2023

通过引导式扩散模型实现可控人体动作合成

PDF
TL;DR本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。
denoising diffusion modelsguided motion diffusionmotion generation processspatial constraintstext-based motion generation
发现论文，激发创造
  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • PhysDiff：物理引导的人体运动扩散模型

    提出一种新的物理引导的运动扩散模型 (PhysDiff)，该模型将物理约束条件融入到扩散过程中，并利用物理仿真中的运动模拟来将降噪后的运动投影为物理合理运动，以此指导降噪扩散过程，并在大规模人类运动数据集上进行实验，取得了最先进的运动质量和显着的物理合理性改进（对于所有数据集 > 78%）。

    Dec, 2022

  • 针对风格化行走合成的去噪扩散概率模型

    本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

    Sep, 2022

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • GazeMoDiff：基于凝视引导的扩散模型用于随机人体运动预测

    人类动作预测是虚拟现实（VR）应用中的重要问题，本论文提出了一种新的注视引导去噪扩散模型（GazeMoDiff），通过学习眼球注视和人体运动之间的时空相关性，生成逼真的人体运动，实验证明本方法在平均位移误差上超过了现有方法。

    Dec, 2023

  • EMDM：快速、高质量运动生成的高效运动扩散模型

    引入高效动作扩散模型（EMDM）用于快速高质量的人体动作生成，通过建模复杂的去噪分布在多个采样步骤中实现更大的采样步长和较少的步骤，加速生成过程并保持高质量的运动生成。

    Dec, 2023

  • 可控的运动扩散模型

    该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

    Jun, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • 使用扩散模型进行灵活的动作中间插值

    通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。

    May, 2024