Apr, 2022

从舞蹈视频生成复杂音乐的量化生成对抗网络

PDF
TL;DRD2M-GAN 是一个基于多模态对抗网络的音乐生成框架，能够根据舞蹈视频生成对应的流行音乐等复杂风格，使用向量量化的音频表示，通过对多个数据集的评估，证明了此方法的有效性，并提供了一个使用 TikTok 视频的数据集用于未来相关研究的起点。
dance2music-ganadversarial multi-modal frameworkmusic generationvector quantized audio representationtiktok dataset
发现论文，激发创造
  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • MAGMA：音乐对齐生成动作自解码器

    使用 VQ-VAE 提炼运动原语并使用 Transformer 解码器进行正确的排序，实现了音乐转动作的实时生成和无缝链接，同时易于定制满足风格需求的动作序列。

    Sep, 2023

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024

  • 使用 Transformer 学习生成多样化的舞蹈动作

    本文介绍了一种生成高质量、多样化舞蹈序列的系统，使用包括 YouTube 视频在内的大量数据集进行训练，并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。

    Aug, 2020

  • MIDGET: 基于音乐条件的 3D 舞蹈生成

    介绍了一种名为 MIDGET 的音乐条件化 3D 舞蹈生成模型，基于舞蹈动作向量量化变分自编码器（VQ-VAE）模型和动作生成预训练（GPT）模型，以生成与音乐节奏相匹配的充满活力且高质量的舞蹈。通过引入三个新组件：1）基于 Motion VQ-VAE 模型的预训练记忆代码本，用于存储不同的人体姿势代码，2）利用 Motion GPT 模型通过音乐和动作编码器生成姿势代码，3）一个用于音乐特征提取的简单框架。通过与现有最先进模型进行比较，并在 AIST++（最大的公开音乐舞蹈数据集）上进行消融实验，实验证明我们提出的框架在运动质量和与音乐的协调性方面实现了最先进的性能。

    Apr, 2024

  • 音乐驱动舞蹈生成中的多模态控制探索

    我们提出了一个统一的框架，能够生成高质量的舞蹈动作并支持多模态控制，包括流派控制，语义控制和空间控制，实验证明所提出的舞蹈生成框架在动作质量和可控性方面优于现有的方法。

    Jan, 2024

  • DanceCamera3D：音乐和舞蹈的三维摄像机运动合成

    通过提出多模态三维数据集 DCM 和基于 Transformer 的扩散模型 DanceCamera3D，综合定量和定性证据显示了 DanceCamera3D 模型的有效性，以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。

    Mar, 2024

  • 音乐驱动的团体编舞

    本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集 AIOZ-GDANCE，并提出了一种新的方法来生成多人一致的舞蹈，同时还提出了新的评估度量标准来衡量生成的舞蹈质量。

    Mar, 2023

  • Dance2Music: 自动舞蹈驱动音乐生成

    本研究探索了实现在给定舞蹈的情况下生成音乐的可能性，并基于搜索算法和深度神经网络开发了两种不同的方法，并通过与强启发法基准模型的比较，证明了这些方法的有效性。

    Jul, 2021