Nov, 2023

OmniMotionGPT：有限数据下的动物运动生成

PDF
TL;DR本文旨在从文本描述中生成多样且逼真的动物运动序列，无需大规模动物文本 - 运动数据集。通过设计一个模仿 GPT 的模型架构，利用从人类数据中学到的先验知识应用于动物领域，我们可以联合训练动物和人类运动的运动自编码器，并同时优化人类运动编码、动物运动编码和文本 CLIP 嵌入之间的相似性分数。我们创造性地解决了该问题，并能够生成具有高多样性和逼真度的动物运动，数量和质量上均优于在动物数据上训练人类运动生成基线的结果。此外，我们还推出了 AnimalML3D，第一个包含 1240 个动画序列和 36 种不同动物身份的文本 - 动物运动数据集。我们希望这个数据集能够解决文本驱动动物运动生成中的数据稀缺问题，并为研究社区提供一个新的研究平台。
animal motion sequencestext-driven human motion synthesisgenerative pretraining transformermotion autoencodersanimalml3d
发现论文，激发创造
  • T2M-GPT: 使用离散表示生成基于文本描述的人体动作

    本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架，并表明了通过常用的训练配方（EMA 和 Code Reset），我们可以获得高质量的离散表示。此外，我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差，并在 HumanML3D 数据集上表现出比竞争方法更好的性能。

    Jan, 2023

  • MotionGPT：以人类动作为外语

    本文提出了一种统一的，多功能的运动语言模型 MotionGPT，旨在通过将语言数据与大规模运动模型相结合，开发出能够增强涉及运动的任务的预训练模型，实现对文本驱动运动生成、运动字幕制作、运动预测和中间运动状态生成等多项任务的最先进表现。

    Jun, 2023

  • 运动化身：生成具备任意动作的人和动物化身

    该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。

    May, 2024

  • 基于关键帧并行跳跃变换的文本引导下的三维人体动作生成

    提出了一种名为 KeyMotion 的方法，通过生成关键帧并进行填充，实现根据输入文本生成逼真的人体运动序列。通过使用具有 Kullback-Leibler 正则化的变分自编码器（VAE）将关键帧投影到潜空间，来减少维度和加速扩散过程。同时，引入了一种新的并行跳过注意力机制的 Transformer，用于实现关键帧潜向量和文本条件之间的跨模态注意力。通过引入文本引导的 Transformer 进行动作填充，确保运动序列的保真度和遵循人体运动的物理约束。实验证明，该方法在 HumanML3D 数据集上达到了最先进的结果，所有 R-Precision 度量和多模态距离指标均优于其他方法。同时，在 KIT 数据集上也获得了有竞争力的性能，在 Top3 R-Precision、FID 和多样性度量指标上取得了最佳结果。

    May, 2024

  • PoseGPT：基于量化的三维人体动作生成和预测

    提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。

    Oct, 2022

  • 面向开放领域的多人动作驱动文本合成

    本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

    May, 2024

  • MotionGPT：经过微调的 LLM 是通用运动生成器

    本文提出了一种使用多模态控制信号的运动通用生成器（MotionGPT），它将多模态信号作为大型语言模型（LLMs）中的特殊输入令牌来生成连续的人类动作，是首次使用多模态控制信号生成人类动作的方法。

    Jun, 2023

  • GPT-Connect: 文本驱动的人体运动生成器与 3D 场景的训练无关交互

    我们提出了一种新颖的 GPT-connect 框架，通过利用 ChatGPT 在无需训练的情况下，连接现有的人体运动生成器与三维场景，实现了直接生成结合场景的运动序列，并通过广泛的实验证明了我们提出的框架的有效性和普适性。

    Mar, 2024

  • 使用 ChatGPT 改进的描述生成精细人类动作

    通过细粒度人体动作扩散模型 (FG-MDM) ，我们成功地生成了符合文本描述的多样化和高质量的人类动作，即使在训练数据分布之外。

    Dec, 2023

  • Ponymation：从未标记的在线视频中学习 3D 动物动作

    我们引入了 Ponymation，一种从原始、未标记的在线视频中学习生成性模型的方法，该方法不需要任何姿势注释或参数化形状模型进行训练，并且纯粹是从从互联网获得的一系列原始视频片段中学习的。

    Dec, 2023