通过使用 quaternions 表示旋转，使用前向运动学来惩罚绝对位置误差，同时比较 quaternions 和 Euler 角的性能，我们提出了一种新方法 --QuaterNet，用于预测和生成 3D 人体姿势序列。经过实验证明这种方法在短期和长期预测和生成任务中都取得了良好的效果，相比于人体图像学界最新的神经策略，我们的方法被评估为非常逼真。此外，我们还发现，Human3.6M 的标准评估协议产生了高方差结果，提出了简单的解决方案。

Jan, 2019

D2M-GAN 是一个基于多模态对抗网络的音乐生成框架，能够根据舞蹈视频生成对应的流行音乐等复杂风格，使用向量量化的音频表示，通过对多个数据集的评估，证明了此方法的有效性，并提供了一个使用 TikTok 视频的数据集用于未来相关研究的起点。

Apr, 2022

本研究利用深度學習方法中的循環神經網路，使用四元數表示旋轉矩陣，並在預測人體姿勢時，通過直接避免產生角度誤差而避免骨骼伸展和無效配置。在短期預測上，QuaterNet 方法可以量化地提高所得到的結果，而在長期模擬方面，本研究方法的效果與近期的網路策略相當。

May, 2018

使用 VQ-VAE 提炼运动原语并使用 Transformer 解码器进行正确的排序，实现了音乐转动作的实时生成和无缝链接，同时易于定制满足风格需求的动作序列。

Sep, 2023

介绍了一种名为 MIDGET 的音乐条件化 3D 舞蹈生成模型，基于舞蹈动作向量量化变分自编码器（VQ-VAE）模型和动作生成预训练（GPT）模型，以生成与音乐节奏相匹配的充满活力且高质量的舞蹈。通过引入三个新组件：1）基于 Motion VQ-VAE 模型的预训练记忆代码本，用于存储不同的人体姿势代码，2）利用 Motion GPT 模型通过音乐和动作编码器生成姿势代码，3）一个用于音乐特征提取的简单框架。通过与现有最先进模型进行比较，并在 AIST++（最大的公开音乐舞蹈数据集）上进行消融实验，实验证明我们提出的框架在运动质量和与音乐的协调性方面实现了最先进的性能。

Apr, 2024

提出了一种名为 Bailando 的用于将音乐转换为舞蹈的新型框架，它使用了两个强大的组件：学习从 3D 姿势序列总结有意义的舞蹈单元的编舞记忆， 并使用基于演员 - 评论家的生成预训练变压器 (GPT) 将这些单元组合成与音乐一致的流畅舞蹈，通过使用这个音乐转换为舞蹈的框架，已经达到了最先进的性能水平，并发现了人类可解释的舞蹈风格姿势。

Mar, 2022

本研究提出了一种基于 Transformer 模型，结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型，同时使用了包括专业舞者和业余舞者的当前最大的 3D 舞蹈动作数据集，通过物体评价和用户调查对比了两个基准模型，并表明要生成与音乐相匹配的有趣，多样和逼真的舞蹈，既需要模型具备建模概率分布的能力，又需要能够关注大范围的运动和音乐情境。

Jun, 2021

本研究通过先生成关键姿势再进行中间参数运动曲线预测的两阶段过程，提出了一种新的方法 DanceFormer，通过两个级联的运动学增强变换器指导网络（称为 DanTrans）处理每个阶段，在现有数据集的训练下可以生成超过以前的研究成果的流畅、表现性和与音乐匹配的 3D 舞蹈，并且可以和工业动画软件无缝对接，可以方便地适用于各种项目。

Mar, 2021

该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

Feb, 2020

通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统，该网络利用音乐和对应的舞蹈运动，运用多媒体片段进行训练，能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究，结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。

Nov, 2018