基于运动扩散的全局一致随机人体动作预测

May, 2023

基于运动扩散的全局一致随机人体动作预测

Towards Globally Consistent Stochastic Human Motion Prediction via Motion Diffusion

Jiarui Sun, Girish Chowdhary

TL;DR该论文提出了一种基于扩散的随机人体运动预测框架 DiffMotion，旨在预测未来的姿势序列，并通过使用多阶段图卷积网络和方差调度器，使预测结果准确、逼真、一致，同时在准确度和保真度方面明显优于先前的方法，并通过基准数据集展现了强大的鲁棒性。

Abstract

stochastic human motion prediction aims to predict multiple possible upcoming pose sequences based on past human motion trajectories. Prior works focused heavily on generating diverse motion samples, leading to inconsistent, abnormal predictions from the immediate past observations. To

stochastic human motion prediction diffmotion multi-stage graph convolutional network variance scheduler benchmark datasets

发现论文，激发创造

随机运动预测的人体关节运动扩散细化

该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

Oct, 2022

GazeMoDiff：基于凝视引导的扩散模型用于随机人体运动预测

人类动作预测是虚拟现实（VR）应用中的重要问题，本论文提出了一种新的注视引导去噪扩散模型（GazeMoDiff），通过学习眼球注视和人体运动之间的时空相关性，生成逼真的人体运动，实验证明本方法在平均位移误差上超过了现有方法。

Dec, 2023

MotionDiffuser：可控的基于扩散的多智能体运动预测

本文提出了 MotionDiffuser 模型，其能够学习多个交通参与者之间联合分布的多模态表示，在实现高效计算精确样本概率的前提下，提出了一种压缩轨迹表示以提高模型性能，并结合约束抽样框架，以应用于强制束缚和创造定制化模拟场景等应用，最终在 Waymo 数据集上实现了最先进的多代理运动预测结果。

Jun, 2023

使用自回归扩散模型的可控运动合成和重建

该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

Apr, 2023

随机多人三维运动预测

该论文提出了一种新型的人类运动预测任务，针对多人运动、社交交互和关节运动的复杂性，提出了一种模型框架，通过引入可学习的潜在编码来表示未来动作的意图来实现不同层次的独立个体运动和社交交互建模，在多个数据集上得到了显著的多人预测结果，表现显著优于现有技术水平。

Jun, 2023

通过运动不确定性扩散进行随机轨迹预测

本研究提出了一种基于马尔科夫链和 Transformer 的运动不确定性扩散逆向建模框架，通过逐步放弃不可行走区域的不确定性直至到达期望轨迹，用于解决行人轨迹预测中的多模态问题，并取得了在 Stanford Drone 和 ETH/UCY 数据集上的优异表现。

Mar, 2022

利用去噪扩散概率模型统一人类动作合成和风格传递

本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

Dec, 2022

基于交叉扩散模型的逼真人体动作生成

我们介绍了跨人类运动扩散模型（CrossDiff），这是一种基于文本描述生成高质量人体运动的新方法。我们的方法使用共享的变换器网络在扩散模型的训练中整合了 3D 和 2D 信息，将运动噪声统一到一个特征空间中。这使得特征能够被解码为 3D 和 2D 运动表示，而不管它们的原始维度如何。CrossDiff 的主要优势在于其跨扩散机制，它允许模型在训练过程中将 2D 或 3D 噪声转化为清晰的运动。这种能力利用了 3D 和 2D 运动表示中的互补信息，捕捉了常常被单纯依赖 3D 信息的模型所忽视的复杂人体运动细节。因此，CrossDiff 有效地结合了两种表示的优势，生成了更加真实的运动序列。在我们的实验中，我们的模型在文本到运动基准上展示了具有竞争力的最新性能。此外，我们的方法始终提供了增强的运动生成质量，捕捉了复杂的全身运动细节。此外，在具有预训练模型的情况下，我们的方法适用于在训练过程中使用野外 2D 运动数据而无需 3D 运动的真实值来生成 3D 运动，凸显了其在更广泛应用和有效利用可用数据资源方面的潜力。

Dec, 2023

运动漫化：基于扩散模型的文本驱动人体动作生成

MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

Aug, 2022

我们能否使用扩散概率模型进行三维运动预测？

本研究评估了扩散概率模型在 3D 人体运动预测任务中的潜力。通过对人类 3.6M 和 HumanEva-I 数据集的研究，我们发现扩散概率模型可以在单个（确定性）和多个（随机性）3D 运动预测任务中具有竞争力，并且可以在单个训练过程完成后达到一个合理的预测结果，同时平衡对预测结果的可能性和多样性的需求。

Feb, 2023