AvatarGPT: 综合框架用于动作理解、规划、生成及其他领域

Nov, 2023

AvatarGPT: 综合框架用于动作理解、规划、生成及其他领域

AvatarGPT: All-in-One Framework for Motion Understanding, Planning, Generation and Beyond

Zixiang Zhou, Yu Wan, Baoyuan Wang

TL;DRAvatarGPT 是一个全能的运动理解、规划、生成等任务的框架，以及基于 LLM 的动作中间合成等其他任务，通过语言作为通用接口，构成一个闭环。通过将人类运动序列编码为离散的标记，并开发一个无监督的管道来从野外视频中生成人类行动序列的自然语言描述，最终实现了各个任务的联合训练。广泛的实验证明，AvatarGPT 在低级任务上达到了最先进水平，在高级任务上取得了有希望的结果，证明了我们提出的全能框架的有效性。此外，AvatarGPT 首次实现了通过闭环内的任务迭代遍历进行无限长运动合成的原则性方法。

Abstract

large language models(LLMs) have shown remarkable emergent abilities in unifying almost all (if not every) NLP tasks. In the human motion-related realm, however, researchers still develop siloed models for each task. Inspired by InstuctGPT, and the generalist concept behind Gato, we in

large language models motion understanding motion planning motion generation universal interface

发现论文，激发创造

MotionGPT：以人类动作为外语

本文提出了一种统一的，多功能的运动语言模型 MotionGPT，旨在通过将语言数据与大规模运动模型相结合，开发出能够增强涉及运动的任务的预训练模型，实现对文本驱动运动生成、运动字幕制作、运动预测和中间运动状态生成等多项任务的最先进表现。

Jun, 2023

M$^3$GPT：一种先进的多模态、多任务框架用于运动理解与生成

该研究提出了 M$^3$GPT，一种先进的多模态、多任务框架，用于运动理解和生成。该模型通过统一表征空间、在原始运动空间建模和建立不同运动任务之间的连接，实现了对多种信号的综合理解和生成，为极具挑战性任务提供了强大的零样本泛化能力。

May, 2024

PoseGPT：关于三维人体姿势的对话

PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。

Nov, 2023

MotionGPT：经过微调的 LLM 是通用运动生成器

本文提出了一种使用多模态控制信号的运动通用生成器（MotionGPT），它将多模态信号作为大型语言模型（LLMs）中的特殊输入令牌来生成连续的人类动作，是首次使用多模态控制信号生成人类动作的方法。

Jun, 2023

AgentAvatar: 解耦规划、驾驶和渲染以实现逼真的虚拟人物代理

我们的研究目标是创建可以自主规划和模拟细致逼真的面部动作的交互式化身代理机器人，从视觉和行为角度进行研究。我们的研究通过将大规模语言模型应用到化身代理机器人面部动作描述生成中，再通过神经渲染器生成最终逼真的化身动画，并经过实验证实了这一方法的有效性和通用性。

Nov, 2023

魔法化身：多模态化身生成与动画

MagicAvatar 是一种用于多模态视频生成和人体化身动画的框架，通过将动作明确分离为两个阶段：多模态到动作转换和动作到视频生成，在提供的人物图像的基础上能够实现简单的人物动画和根据第一阶段产生的具体动作实现特定身份的人物动画。

Aug, 2023

GAIA：零射击对话头像生成

GAIA 为无需 domain-specific 启发式方法的生成式虚拟形象的合成提供了一个通用解决方案，通过将每帧图像分解为运动和外观表示，并在语音和参考人像图像的条件下生成运动序列，实现了更自然、多样化、口型同步和视觉质量更高的结果，同时具备可扩展性和其他应用潜力。

Nov, 2023

DoraemonGPT: 面向理解动态场景的大型语言模型

通过大型语言模型驱动的 DoraemonGPT 系统，我们能够处理动态视频任务，利用空间 - 时间查询和推理工具进行简洁而相关的中间结果，同时通过蒙特卡洛树搜索驱动的规划器高效探索大规模计划空间，并以多种解决方案总结出改进的最终答案。在各种复杂问题的评估中，DoraemonGPT 展示了比以往研究更强大的能力。

Jan, 2024

运动化身：生成具备任意动作的人和动物化身

该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。

May, 2024

OmniMotionGPT：有限数据下的动物运动生成

本文旨在从文本描述中生成多样且逼真的动物运动序列，无需大规模动物文本 - 运动数据集。通过设计一个模仿 GPT 的模型架构，利用从人类数据中学到的先验知识应用于动物领域，我们可以联合训练动物和人类运动的运动自编码器，并同时优化人类运动编码、动物运动编码和文本 CLIP 嵌入之间的相似性分数。我们创造性地解决了该问题，并能够生成具有高多样性和逼真度的动物运动，数量和质量上均优于在动物数据上训练人类运动生成基线的结果。此外，我们还推出了 AnimalML3D，第一个包含 1240 个动画序列和 36 种不同动物身份的文本 - 动物运动数据集。我们希望这个数据集能够解决文本驱动动物运动生成中的数据稀缺问题，并为研究社区提供一个新的研究平台。

Nov, 2023