该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。

May, 2024

MagicVideo-V2 通过将文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块整合到端到端视频生成流程中，可以生成具有出色保真度和平滑度的美观、高分辨率视频，在大规模用户评估中表现出比 Runway、Pika 1.0、Morph、Moon Valley 和 Stable Video Diffusion 模型更优秀的性能。

Jan, 2024

AvatarGPT 是一个全能的运动理解、规划、生成等任务的框架，以及基于 LLM 的动作中间合成等其他任务，通过语言作为通用接口，构成一个闭环。通过将人类运动序列编码为离散的标记，并开发一个无监督的管道来从野外视频中生成人类行动序列的自然语言描述，最终实现了各个任务的联合训练。广泛的实验证明，AvatarGPT 在低级任务上达到了最先进水平，在高级任务上取得了有希望的结果，证明了我们提出的全能框架的有效性。此外，AvatarGPT 首次实现了通过闭环内的任务迭代遍历进行无限长运动合成的原则性方法。

Nov, 2023

我们介绍了一个新颖的框架用于 3D 人体头像的生成和个性化，利用文本提示来提高用户参与度和定制性。通过克服面向照片真实感头像合成的挑战，我们的方法的核心创新在于应用条件神经辐射场（NeRF）模型，利用大规模多视角未注释数据集，创造出一个多功能的初始解空间，加速和多样化生成头像。此外，我们开发几何先验，利用文本到图像扩散模型的能力，确保视角不变性，并实现对头像几何的直接优化。这些基础思想结合我们基于变分分数蒸馏（VSD）的优化流程，有效减轻纹理损失和过饱和问题。通过广泛的实验验证，这些策略共同实现了具有无与伦比的视觉质量和更好的符合输入文本提示的定制头像的创建。您可以在我们的网站上找到更多的结果和视频。

Apr, 2024

GoMAvatar 是一种实时、内存高效、高质量可动画人体建模方法，利用高斯分布在网格上进行表达，实现新姿势的重新建模和新视角的实时渲染，并无缝集成光栅化图形流水线，其渲染质量超过当下的单目人体建模算法，并在计算效率（43 FPS）和内存占用（每个主体 3.63MB）方面显著优于它们。

Apr, 2024

本文提出了一种新颖的以文本为导向的方法，用于生成情感表达的二维化身，提供了细粒度控制、改进的交互性和对生成视频的泛化能力，实验结果表明，该方法在细粒度情感控制、唇同步质量和自然度方面优于现有方法。

May, 2024

我们提出了一种基于扩散的模型 MagicDance，用于处理具有挑战性的人类舞蹈视频中的 2D 人体动作和面部表情转换。通过预训练外观控制块和微调外观 - 姿势 - 关节点控制块的两阶段训练策略，我们旨在在保持身份不变的同时生成任何目标身份驱动的人类舞蹈视频。

Nov, 2023

我们的研究目标是创建可以自主规划和模拟细致逼真的面部动作的交互式化身代理机器人，从视觉和行为角度进行研究。我们的研究通过将大规模语言模型应用到化身代理机器人面部动作描述生成中，再通过神经渲染器生成最终逼真的化身动画，并经过实验证实了这一方法的有效性和通用性。

Nov, 2023

提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

Aug, 2023

使用 monocular 视频作为动作提示，MagicPose4D 提供了对 4D 生成中外貌和动作的精细控制。通过双阶段 4D 重建和跨类别动作传输，MagicPose4D 在各种基准测试中显著提高了 4D 内容生成的准确性和一致性。

May, 2024