Jun, 2021

Transflower：多模态注意力下的概率自回归舞蹈生成

PDF
TL;DR本研究提出了一种基于 Transformer 模型，结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型，同时使用了包括专业舞者和业余舞者的当前最大的 3D 舞蹈动作数据集，通过物体评价和用户调查对比了两个基准模型，并表明要生成与音乐相匹配的有趣，多样和逼真的舞蹈，既需要模型具备建模概率分布的能力，又需要能够关注大范围的运动和音乐情境。
发现论文，激发创造
  • DanceFormer：基于参数化运动变换器的音乐驱动 3D 舞蹈生成

    本研究通过先生成关键姿势再进行中间参数运动曲线预测的两阶段过程，提出了一种新的方法 DanceFormer，通过两个级联的运动学增强变换器指导网络（称为 DanTrans）处理每个阶段，在现有数据集的训练下可以生成超过以前的研究成果的流畅、表现性和与音乐匹配的 3D 舞蹈，并且可以和工业动画软件无缝对接，可以方便地适用于各种项目。

    Mar, 2021

  • 使用 Transformer 学习生成多样化的舞蹈动作

    本文介绍了一种生成高质量、多样化舞蹈序列的系统，使用包括 YouTube 视频在内的大量数据集进行训练，并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。

    Aug, 2020

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 双向自回归扩散模型的舞蹈生成

    使用双向自回归扩散模型 (BADM) 生成与音乐相协调的舞蹈动作，通过在前后方向均保持协调一致的双向编码器和局部信息解码器，实现了生成新动作、平滑运动、提高舞蹈与节拍的同步性等功能。实验结果表明，该模型在音乐到舞蹈生成的重要基准上达到了最先进的性能。

    Feb, 2024

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • 音乐驱动的编舞生成：使用自回归编码器 - 解码器网络

    通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统，该网络利用音乐和对应的舞蹈运动，运用多媒体片段进行训练，能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究，结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。

    Nov, 2018

  • Bailando: 用演员 - 评论家 GPT 和编舞记忆生成 3D 舞蹈

    提出了一种名为 Bailando 的用于将音乐转换为舞蹈的新型框架，它使用了两个强大的组件：学习从 3D 姿势序列总结有意义的舞蹈单元的编舞记忆， 并使用基于演员 - 评论家的生成预训练变压器 (GPT) 将这些单元组合成与音乐一致的流畅舞蹈，通过使用这个音乐转换为舞蹈的框架，已经达到了最先进的性能水平，并发现了人类可解释的舞蹈风格姿势。

    Mar, 2022

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • 通过课程学习生成长期跟音乐舞蹈的 Dance Revolution

    本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法，通过设计一种课程学习策略，使其在长时间序列生成过程中减轻自回归模型中的误差积累，从而有效地捕捉音乐和舞蹈之间的微观对应关系，实验结果表明，该方法在自动度量和人类评估等方面明显优于现有技术水平。

    Jun, 2020