人类运动扩散模型
本文介绍了一种名为 SinMDM 的单一运动模型,使用扩散模型和针对单一运动的去噪网络设计,能够学习任意长度的与原来的运动片段相似的动画并且高效快速。SinMDM 可应用于各种场景,包括运动合成,风格迁移和人群动画。
Feb, 2023
MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架,可以通过概率映射、真实的合成方式,以及多级操作等方法,有效地生成复杂和多种变化的人类运动。
Aug, 2022
本文提出了应用于人体动作合成的有向扩散模型的算法 GMD,并进行了大量实验验证,证明该算法在控制生成的动作的同时,显著提高了基于文本的运动生成的效果。
May, 2023
我们提出了一种基于形状条件的运动扩散模型(SMD),该模型可以直接在网格格式中生成运动序列,并结合了频谱 - 时间自编码器(STAE)以在频谱域内利用跨时依赖关系。通过广泛的实验评估,我们证明了 SMD 不仅可以生成栩栩如生的真实动作,而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。
May, 2024
引入高效动作扩散模型(EMDM)用于快速高质量的人体动作生成,通过建模复杂的去噪分布在多个采样步骤中实现更大的采样步长和较少的步骤,加速生成过程并保持高质量的运动生成。
Dec, 2023
文本到动作生成是一项艰巨的任务,本文介绍一种优先级中心的运动分散扩散模型(M2DM),利用基于 Transformer 的 VQ-VAE 得出简洁的、离散的动作表示,通过全局自注意机制和正则化项来抵消代码坍塌。我们还提出了一种运动离散扩散模型,它采用了一种创新的噪声调度方式,根据整个运动序列中每个动作标记的重要性来确定。该方法在逆扩散过程中保留了最显著的动作,从而产生更丰富多样的语义动作。在 HumanML3D 和 KIT-ML 数据集上进行的综合实验证实了我们的模型在保真度和多样性方面超过了现有技术,尤其对于复杂的文本描述。
Aug, 2023
我们介绍了跨人类运动扩散模型(CrossDiff),这是一种基于文本描述生成高质量人体运动的新方法。我们的方法使用共享的变换器网络在扩散模型的训练中整合了 3D 和 2D 信息,将运动噪声统一到一个特征空间中。这使得特征能够被解码为 3D 和 2D 运动表示,而不管它们的原始维度如何。CrossDiff 的主要优势在于其跨扩散机制,它允许模型在训练过程中将 2D 或 3D 噪声转化为清晰的运动。这种能力利用了 3D 和 2D 运动表示中的互补信息,捕捉了常常被单纯依赖 3D 信息的模型所忽视的复杂人体运动细节。因此,CrossDiff 有效地结合了两种表示的优势,生成了更加真实的运动序列。在我们的实验中,我们的模型在文本到运动基准上展示了具有竞争力的最新性能。此外,我们的方法始终提供了增强的运动生成质量,捕捉了复杂的全身运动细节。此外,在具有预训练模型的情况下,我们的方法适用于在训练过程中使用野外 2D 运动数据而无需 3D 运动的真实值来生成 3D 运动,凸显了其在更广泛应用和有效利用可用数据资源方面的潜力。
Dec, 2023
该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架,通过强化学习控制器和控制策略,实现了对虚拟角色的实时、多样化运动生成,可以适应用户的实时命令,同时还可以预测更多多样化的动作。
Jun, 2023
DiverseMotion 是一种新的方法,通过保持运动多样性,在基于文本描述的高质量人体运动合成中为优先适应训练运动而牺牲动作多样性的现有方法提供解决方案。
Sep, 2023
我们提出了一种基于扩散模型的即时人体运动风格转移学习方法,通过几分钟的微调学习,可以将未知的风格转移到不同的内容运动中,且仅需要一个风格示例和以中立运动为主的文本到运动数据集(例如 HumanML3D)。
Mar, 2024