Mar, 2024

LM2D: 歌词与音乐驱动的舞蹈合成

PDF
TL;DR通过将音乐和歌词作为条件，在一次扩散生成步骤中创建与歌词和音乐相匹配的逼真且多样化的舞蹈，通过使用多模态扩散模型和一致性蒸馏构建了新颖的概率架构 LM2D，并引入涵盖音乐和歌词的第一个 3D 舞蹈动作数据集，该模型的结果经过客观度量和人类评估表明，能够产生与歌词和音乐匹配的逼真且多样化的舞蹈。
发现论文，激发创造
  • 音乐和歌词驱动的舞蹈合成

    介绍了一个新的多模态数据集 JustLMD，其中包括舞蹈动作、音乐和歌词的三元信息，并展示了一种基于跨模态扩散的网络，用于根据音乐和歌词生成 3D 舞蹈动作。

    Sep, 2023

  • 使用序列模型进行音乐舞蹈语言翻译

    用 MDLT 框架，将音乐中的舞蹈姿势转化为相应的舞蹈编排，进行舞蹈生成的翻译任务。

    Mar, 2024

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • 韵律即舞者：具有全局结构的音乐驱动运动合成

    本文提出了一种以音乐驱动的舞蹈合成框架，能够在保证特定舞蹈风格总体结构一致的同时，生成长期与节拍同步的多样运动，包括连贯的姿势，按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统，包括位姿、动作图案和编舞级别。其中，LSTM 组件生成时间上连续的姿势序列，动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动，编舞级别驱动系统遵循舞蹈总体结构，选择表演动作的顺序。实验表明，该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动，并能控制合成运动的内容。

    Nov, 2021

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • 跳舞音乐

    本文提出了一种分析综合学习框架，通过分解舞蹈成一系列基本舞蹈单元和组织多个基本舞蹈动作，从音乐中生成逼真、多样、风格一致且与节拍匹配的舞蹈。

    Nov, 2019

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 双向学习音乐创作与舞蹈编排

    研究音乐和舞蹈生成模型，提出了一种双重学习方法，既可以为给定的舞蹈创作音乐，又可以为音乐创作舞蹈编排，以使生成的作品更加逼真和符合条件的输入。

    Jan, 2022