通过时间和空间的扩散模型组合生成复杂的3D人类运动
MotionDiffuse是一种基于扩散模型的文本驱动运动生成框架, 可以通过概率映射、真实的合成方式, 以及多级操作等方法, 有效地生成复杂和多种变化的人类运动。
Aug, 2022
本文引入了Motion Diffusion Model(MDM),这是一种经过精心设计的无分类器扩散生成模型,适用于人体运动领域,并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。
Sep, 2022
本文提出了一种针对数字人运动合成的解决方案,使用Denoising Diffusion Probabilistic Model中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式,并使用对抗性和物理规则来实现全局引导。实验结果表明,该方法能够产生高质量、逼真的人体运动,并有效验证了多任务架构的有效性。
Dec, 2022
本研究在于探讨将扩散模型用于观察到行为模型,以模仿人类在连续环境中的行为。研究发现扩散模型可充分学习联合行动空间的表达分布,具有表现力强等优点。实验结果表明,扩散模型能够精确匹配真实人类行为及控制任务等多方环境表现。
Jan, 2023
我们提出了一种新方法,利用过去条件扩散模型和两种可选的相干采样方法:过去修复采样和组合过渡采样,实现由用户指导的长文本流控制的组合和连贯的长期三维人体动作生成。
Aug, 2023
提出了一种新方法,通过 hieraechical generation framework 来生成 3D 运动,以解决生成多样且长距离运动的挑战,并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。
Oct, 2023
我们介绍了跨人类运动扩散模型(CrossDiff),这是一种基于文本描述生成高质量人体运动的新方法。我们的方法使用共享的变换器网络在扩散模型的训练中整合了3D和2D信息,将运动噪声统一到一个特征空间中。这使得特征能够被解码为3D和2D运动表示,而不管它们的原始维度如何。CrossDiff的主要优势在于其跨扩散机制,它允许模型在训练过程中将2D或3D噪声转化为清晰的运动。这种能力利用了3D和2D运动表示中的互补信息,捕捉了常常被单纯依赖3D信息的模型所忽视的复杂人体运动细节。因此,CrossDiff有效地结合了两种表示的优势,生成了更加真实的运动序列。在我们的实验中,我们的模型在文本到运动基准上展示了具有竞争力的最新性能。此外,我们的方法始终提供了增强的运动生成质量,捕捉了复杂的全身运动细节。此外,在具有预训练模型的情况下,我们的方法适用于在训练过程中使用野外2D运动数据而无需3D运动的真实值来生成3D运动,凸显了其在更广泛应用和有效利用可用数据资源方面的潜力。
Dec, 2023
使用时间轴控制的文本驱动动作合成方法,通过多个文本输入来指定时间轴内的多个动作以及精确定义各个动作的持续时间,并使用新的测试时间去噪方法生成真实的动作序列。
Jan, 2024
人体动作生成是计算机动画中非常重要的任务,本文提出了一种基于扩散方法的新颖循环扩散模型,通过在扩散过程中对时间维度进行建模,以解决现有方法生成的动作序列不连贯、时长短以及计算开销大的问题。实验证明,该方法在人体动作的时间建模方面取得了与现有最先进方法相当的结果,能够生成连贯的动作序列并减少推理阶段的计算开销。
Jun, 2024