MotionGPT：经过微调的 LLM 是通用运动生成器
本文提出了一种统一的，多功能的运动语言模型 MotionGPT，旨在通过将语言数据与大规模运动模型相结合，开发出能够增强涉及运动的任务的预训练模型，实现对文本驱动运动生成、运动字幕制作、运动预测和中间运动状态生成等多项任务的最先进表现。
Jun, 2023
该研究提出了 M$^3$GPT，一种先进的多模态、多任务框架，用于运动理解和生成。该模型通过统一表征空间、在原始运动空间建模和建立不同运动任务之间的连接，实现了对多种信号的综合理解和生成，为极具挑战性任务提供了强大的零样本泛化能力。
May, 2024
本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架，并表明了通过常用的训练配方（EMA 和 Code Reset），我们可以获得高质量的离散表示。此外，我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差，并在 HumanML3D 数据集上表现出比竞争方法更好的性能。
Jan, 2023
通过使用预训练的 LLM 模型进行微调，本研究提出了 MotionLLM，一个简单且通用的框架，可实现单人和多人运动生成以及动作字幕生成。
May, 2024
提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。
Oct, 2022
通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。
Nov, 2023
我们介绍了 T2M-HiFiGPT，这是一种生成人体动作的新型条件生成框架，其基于 RVQ-VAE 和双层 GPT 结构。我们的研究表明，我们基于 CNN 的 RVQ-VAE 能够产生高精度的 2D 时间 - 残差离散动作表示。我们的双层 GPT 结构包括了时间 GPT 和残差 GPT，能够有效地将先前帧和文本描述的信息压缩成 1D 上下文向量，并通过 RVQ-VAE 解码器将生成的残差离散指标转化回动作数据。我们的框架在 HumanML3D 和 KIT-ML 数据集上表现出色，在几乎所有主要指标上产生了异常的结果。通过对 HumanML3D 数据集进行全面的剔除研究，我们进一步验证了我们框架的有效性，并考察了每个组件的贡献。我们的发现表明，相比 VQ-VAE 类型的模型，RVQ-VAE 不仅更擅长捕捉精确的 3D 人体动作，而且计算需求相当。因此，T2M-HiFiGPT 能够以显著提高的准确性生成人体动作，优于最新的基于扩散和 GPT 的方法，如 T2M-GPT 和 Att-T2M。
Dec, 2023
PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。
Nov, 2023
建立一个大规模的细粒度文本 - 运动数据集 FineHumanML3D，并设计一种新的文本生成运动模型 FineMotionDiffuse，以更好地生成空间 / 时间上的综合动作。
Mar, 2024