通过一致的采样使用扩散模型合成长期人类运动

MMAug, 2023

通过一致的采样使用扩散模型合成长期人类运动

Synthesizing Long-Term Human Motions with Diffusion Models via Coherent Sampling

Zhao Yang, Bing Su, Ji-Rong Wen

TL;DR我们提出了一种新方法，利用过去条件扩散模型和两种可选的相干采样方法：过去修复采样和组合过渡采样，实现由用户指导的长文本流控制的组合和连贯的长期三维人体动作生成。

Abstract

text-to-motion generation has gained increasing attention, but most existing methods are limited to generating short-term motions that correspond to a single sentence describing a single action. However, when a text stream describes a sequence of continuous motions, the generated motio

text-to-motion generation long-term motion coherent sampling methods compositional transition 3d human motions

发现论文，激发创造

运动漫化：基于扩散模型的文本驱动人体动作生成

MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

Aug, 2022

T2LM: 多句长期 3D 人体运动生成

通过引入简单但有效的连续长期生成框架 T2LM，本文解决了长期 3D 人体动作生成的问题，并在不需要顺序数据的情况下取得了优越的成果。

Jun, 2024

DiffusionPhase: 频域中的运动扩散

本研究介绍一种基于学习的方法，用于从文本描述中生成高质量的人类运动序列，通过在频域上进行文本条件下的人体运动生成，实现了更多样化和平滑的运动序列生成。

Dec, 2023

基于扩散概率模型的人 - 物交互的分层生成

提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

Oct, 2023

Fg-T2M：基于扩散模型的精细文本驱动人体运动生成

通过结合语言结构辅助模块和上下文感知渐进推理模块，我们提出了一种细粒度的方法，用于生成支持精确文本描述的高质量、有条件的人体动作序列。实验证明，我们的方法在 HumanML3D 和 KIT 测试集上胜过了基于文本驱动的动作生成方法，并能够根据文本条件生成更好的视觉确认动作。

Sep, 2023

基础到高级的分层传播模型实现详细的文本到动作合成

提出了一种基础到高级的分层扩散模型（B2A-HDM），用于协同利用低维和高维扩散模型进行高质量的详细动作合成，其多变量去噪框架和生成潜力的全面探索使其在真实性、模态一致性和多样性方面优于现有的顶尖方法。

Dec, 2023

双向时间扩散模型 —— 用于保持时间连续的人物动画

本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

Jul, 2023

使用扩散模型进行受形状限制的人体动作生成

我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

May, 2024

3D 控制合成运动人物

利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

Jan, 2024

可控的带扩散模型的长图像动画

在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

May, 2024