Sep, 2023

音乐和歌词驱动的舞蹈合成

PDF
TL;DR介绍了一个新的多模态数据集 JustLMD，其中包括舞蹈动作、音乐和歌词的三元信息，并展示了一种基于跨模态扩散的网络，用于根据音乐和歌词生成 3D 舞蹈动作。
lyricsdance choreographymultimodal datasetcross-modal diffusion-based networkmusic
发现论文，激发创造
  • LM2D: 歌词与音乐驱动的舞蹈合成

    通过将音乐和歌词作为条件，在一次扩散生成步骤中创建与歌词和音乐相匹配的逼真且多样化的舞蹈，通过使用多模态扩散模型和一致性蒸馏构建了新颖的概率架构 LM2D，并引入涵盖音乐和歌词的第一个 3D 舞蹈动作数据集，该模型的结果经过客观度量和人类评估表明，能够产生与歌词和音乐匹配的逼真且多样化的舞蹈。

    Mar, 2024

  • 使用序列模型进行音乐舞蹈语言翻译

    用 MDLT 框架，将音乐中的舞蹈姿势转化为相应的舞蹈编排，进行舞蹈生成的翻译任务。

    Mar, 2024

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • MeLFusion: 使用扩散模型合成基于图像和语言线索的音乐

    音乐综合，机器学习模型，MeLFusion，视觉信息，和 IMSM 对生成的音乐质量产生显著的影响。

    Jun, 2024

  • DanceCamera3D：音乐和舞蹈的三维摄像机运动合成

    通过提出多模态三维数据集 DCM 和基于 Transformer 的扩散模型 DanceCamera3D，综合定量和定性证据显示了 DanceCamera3D 模型的有效性，以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。

    Mar, 2024

  • 跳舞音乐

    本文提出了一种分析综合学习框架，通过分解舞蹈成一系列基本舞蹈单元和组织多个基本舞蹈动作，从音乐中生成逼真、多样、风格一致且与节拍匹配的舞蹈。

    Nov, 2019

  • 韵律即舞者：具有全局结构的音乐驱动运动合成

    本文提出了一种以音乐驱动的舞蹈合成框架，能够在保证特定舞蹈风格总体结构一致的同时，生成长期与节拍同步的多样运动，包括连贯的姿势，按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统，包括位姿、动作图案和编舞级别。其中，LSTM 组件生成时间上连续的姿势序列，动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动，编舞级别驱动系统遵循舞蹈总体结构，选择表演动作的顺序。实验表明，该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动，并能控制合成运动的内容。

    Nov, 2021

  • 音乐驱动的团体编舞

    本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集 AIOZ-GDANCE，并提出了一种新的方法来生成多人一致的舞蹈，同时还提出了新的评估度量标准来衡量生成的舞蹈质量。

    Mar, 2023

  • 双向学习音乐创作与舞蹈编排

    研究音乐和舞蹈生成模型，提出了一种双重学习方法，既可以为给定的舞蹈创作音乐，又可以为音乐创作舞蹈编排，以使生成的作品更加逼真和符合条件的输入。

    Jan, 2022