计划、姿势与前行：走向开放世界的文本转动作生成

Dec, 2023

计划、姿势与前行：走向开放世界的文本转动作生成

Plan, Posture and Go: Towards Open-World Text-to-Motion Generation

Jinpeng Liu, Wenxun Dai, Chunyu Wang, Yiji Cheng, Yansong Tang...

TL;DR该研究提出了名为 PRO-Motion 的拆分与解决框架，由运动规划器、姿势扩散器和动作扩散器三个模块组成，通过指示大型语言模型生成描述目标动作关键姿势的脚本序列，转化为真实的运动，从而实现了从复杂的开放世界提示生成多样且逼真的运动。

Abstract

Conventional text-to-motion generation methods are usually trained on limited text-motion pairs, making them hard to generalize to open-world scenarios. Some works use the clip model to align the motion space and

text-to-motion generation clip model motion planner posture-diffuser go-diffuser

发现论文，激发创造

面向开放领域的多人动作驱动文本合成

本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

May, 2024

OMG：通过混合控制器实现开放词汇的动作生成

基于 OMG 框架，我们通过预训练和微调将文本转动作的生成过程进行改进，并引入 motion ControlNet 和 Mixture-of-Controllers 模块，实现了针对零样本文本生成动作的显著提升。

Dec, 2023

由无生有：无言训练的开放词汇文本生成动作

本文探讨了在零样本学习中的离线开放词汇文本到动作生成，使用一个预训练的运动生成器从被遮蔽的运动中学习来重建全动作，利用一个文本到姿态生成器合成未被遮蔽的姿态来构建提示，使用了文本 - 姿态对齐模型和新颖的无文字训练机制来提高效率和稳定性。

Oct, 2022

LGTM: 本地到全局的文本驱动人体运动扩散模型

本研究介绍了 LGTM，一种面向文本到动作生成的新颖的本地到全局流程。LGTM 利用扩散式架构，旨在解决将文本描述准确转化为在计算机动画中语义一致的人体动作的挑战。我们通过引入两阶段的流程来克服语义差异的问题，首先使用大型语言模型将全局动作描述分解为特定部位的叙述，然后使用独立的身体部位运动编码器处理以确保准确的局部语义对齐。最后，基于注意力机制的全身优化器对运动生成结果进行细化，并确保整体一致性。实验结果表明，LGTM 在生成局部准确、语义对齐的人体动作方面取得了显著改进，标志着文本到动作应用的重要进展。

May, 2024

GPT4Motion：基于 Blender 定向 GPT 规划的文本 - 视频生成脚本化物理动作

GPT4Motion 是一个无需训练的框架，结合 GPT 等大型语言模型的规划能力、Blender 的物理仿真强度以及文本到图像扩散模型的优秀图像生成能力，用于增强视频合成的质量，通过生成 Blender 脚本并与文本提示对齐，生成具有连续物理动作的高质量视频，从而提供了文本到视频研究的新视角。

Nov, 2023

从语音中生成自由形式的身体动作

该论文提出了一种新型的自由形式动作生成模型（FreeMo），通过将共同话语动作分解为姿态模式和节奏动力学，利用两条流架构实现姿态的多样性生成和语音韵律同步的节奏动力学合成，从而在几个基准测试中展示出优秀的性能。

Mar, 2022

运动漫化：基于扩散模型的文本驱动人体动作生成

MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

Aug, 2022

通过语言引导的姿态代码编辑实现可控动作生成

CoMo 是一种可控运动生成模型，通过利用大型语言模型的先验知识，在准确生成和编辑动作方面表现出色。它将动作分解为离散且语义上有意义的姿势代码，每个代码都包含身体部位的语义信息，如 “左膝稍微弯曲”。通过调整姿势代码，CoMo 可以实现直接干预动作编辑。实验证明，与最先进的模型相比，CoMo 在运动生成方面具有竞争力，在人体研究中，CoMo 在动作编辑能力方面远远超过以前的工作。

Mar, 2024

Language2Pose: 自然语言基础姿态预测

本文提出了一种名为 JL2P 的神经架构，采用课程学习方法来解决如何将语言概念映射到动作动画的核心建模挑战，并在公开语料库上进行了测试，表明我们的方法能够生成更准确的动画。

Jul, 2019

基于文本的人体运动生成与多视角关注机制

基于文本描述生成的 3D 人体动作一直以来都是一个研究焦点，本文提出了使用多角度注意机制的两阶段方法，即基于人体局部和整体的运动注意以及运动和文本跨模态的全局局部注意机制，通过生成变压器实现文本驱动的运动生成，在 HumanML3D 和 KIT-ML 上的实验证明了我们方法在定性和定量评估方面优于现有的技术，并实现了精细合成和动作生成。

Sep, 2023