Dec, 2022

PhysDiff：物理引导的人体运动扩散模型

PDF
TL;DR提出一种新的物理引导的运动扩散模型 (PhysDiff)，该模型将物理约束条件融入到扩散过程中，并利用物理仿真中的运动模拟来将降噪后的运动投影为物理合理运动，以此指导降噪扩散过程，并在大规模人类运动数据集上进行实验，取得了最先进的运动质量和显着的物理合理性改进（对于所有数据集 > 78%）。
denoising diffusion modelsphysics-guided motion diffusion modelphysical plausibilitymotion imitationlarge-scale human motion datasets
发现论文，激发创造
  • 基于物理引导的姿态概率建模的人体动作捕捉

    将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。

    Aug, 2023

  • 通过引导式扩散模型实现可控人体动作合成

    本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。

    May, 2023

  • 针对风格化行走合成的去噪扩散概率模型

    本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

    Sep, 2022

  • 基于拖曳引导的车辆图像生成扩散模型

    本文提出了基于物理学的指导，通过优化预测模型的性能指标来生成图像，并在 Stable Diffusion 中添加了阻力引导，以生成具有最小预测阻力系数的新型车辆图像。

    Jun, 2023

  • 可微关节式三维人体动作重建动力学

    DiffPhy 是一种可微的基于物理的模型，用于从视频重建人体的关节 3D 运动，可通过基于图像的损失函数进行直接梯度优化

    May, 2022

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 利用去噪扩散概率模型统一人类动作合成和风格传递

    本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

    Dec, 2022

  • 社会物理启发的人群模拟扩散模型

    本文提出了一种称为 SPDiff 的社交社交物理驱动扩散模型，以解决物理驱动机器学习方法在群体模拟中无法全面建模人类移动的异质性和多模态问题。通过反向扩散过程，SPDiff 利用当前时间段中的交互和历史群体信息生成下一个时间段中行人移动的分布。通过设计群体交互模块，并运用群体交互的等变性属性进一步增强该模块，本文受社交力模型的启发，减小了噪声过滤过程中的误差累积。为了减轻长期模拟中的错误累积问题，本文提出了一种多帧展开训练算法来进行扩散建模。两个真实世界数据集上的实验证明了 SPDiff 在宏观和微观评估指标方面的优越性能。代码和附录可见该网址链接。

    Feb, 2024

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022