AAAIJan, 2024

MotionMix：无监督扩散生成可控运动

PDF
TL;DRControllable generation of 3D human motions using MotionMix, a weakly-supervised diffusion model, achieves state-of-the-art performances on text-to-motion, action-to-motion, and music-to-dance tasks.
3d human motionsdigital transformationmotionmixdiffusion modelweakly-supervised
发现论文，激发创造
  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 利用去噪扩散概率模型统一人类动作合成和风格传递

    本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

    Dec, 2022

  • 使用自回归扩散模型的可控运动合成和重建

    该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

    Apr, 2023

  • ReMoDiffuse: 基于检索辅助的运动扩散模型

    本研究提出了一种基于扩散模型的动作生成框架 ReMoDiffuse，它集成了一种检索机制以改善去噪过程，提高了文本驱动动作生成的通用性和多样性，并且在更多样化的动作生成方面表现出色，优于现有的最先进方法。

    Apr, 2023

  • 基于运动扩散的全局一致随机人体动作预测

    该论文提出了一种基于扩散的随机人体运动预测框架 DiffMotion，旨在预测未来的姿势序列，并通过使用多阶段图卷积网络和方差调度器，使预测结果准确、逼真、一致，同时在准确度和保真度方面明显优于先前的方法，并通过基准数据集展现了强大的鲁棒性。

    May, 2023

  • 利用扩散模型进行即时样式迁移的学习：一种语义引导方法

    我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

    Mar, 2024

  • 多样动作：通过离散扩散 实现多样人体动作生成

    DiverseMotion 是一种新的方法，通过保持运动多样性，在基于文本描述的高质量人体运动合成中为优先适应训练运动而牺牲动作多样性的现有方法提供解决方案。

    Sep, 2023

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • 基于交叉扩散模型的逼真人体动作生成

    我们介绍了跨人类运动扩散模型（CrossDiff），这是一种基于文本描述生成高质量人体运动的新方法。我们的方法使用共享的变换器网络在扩散模型的训练中整合了 3D 和 2D 信息，将运动噪声统一到一个特征空间中。这使得特征能够被解码为 3D 和 2D 运动表示，而不管它们的原始维度如何。CrossDiff 的主要优势在于其跨扩散机制，它允许模型在训练过程中将 2D 或 3D 噪声转化为清晰的运动。这种能力利用了 3D 和 2D 运动表示中的互补信息，捕捉了常常被单纯依赖 3D 信息的模型所忽视的复杂人体运动细节。因此，CrossDiff 有效地结合了两种表示的优势，生成了更加真实的运动序列。在我们的实验中，我们的模型在文本到运动基准上展示了具有竞争力的最新性能。此外，我们的方法始终提供了增强的运动生成质量，捕捉了复杂的全身运动细节。此外，在具有预训练模型的情况下，我们的方法适用于在训练过程中使用野外 2D 运动数据而无需 3D 运动的真实值来生成 3D 运动，凸显了其在更广泛应用和有效利用可用数据资源方面的潜力。

    Dec, 2023