ICLRJun, 2020

通过课程学习生成长期跟音乐舞蹈的 Dance Revolution

PDF
TL;DR本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法，通过设计一种课程学习策略，使其在长时间序列生成过程中减轻自回归模型中的误差积累，从而有效地捕捉音乐和舞蹈之间的微观对应关系，实验结果表明，该方法在自动度量和人类评估等方面明显优于现有技术水平。
发现论文，激发创造
  • 音乐驱动的编舞生成：使用自回归编码器 - 解码器网络

    通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统，该网络利用音乐和对应的舞蹈运动，运用多媒体片段进行训练，能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究，结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。

    Nov, 2018

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • 基础舞步生成的弱监督深度递归神经网络

    本研究提出了一种基于弱监督深度循环方法的，使用音频功率谱作为输入的基础舞蹈生成模型，采用卷积层和多层 LSTM 处理音频输入，并利用对比代价函数调节音乐和舞蹈节拍之间的映射，同时从舞蹈节拍生成弱标签进行模型训练，实验结果表明，该模型可以在小数据集上生成基础舞蹈步伐，并且保持与基准舞者类似的 F - 分数。

    Jul, 2018

  • Dance2Music: 自动舞蹈驱动音乐生成

    本研究探索了实现在给定舞蹈的情况下生成音乐的可能性，并基于搜索算法和深度神经网络开发了两种不同的方法，并通过与强启发法基准模型的比较，证明了这些方法的有效性。

    Jul, 2021

  • 跳舞音乐

    本文提出了一种分析综合学习框架，通过分解舞蹈成一系列基本舞蹈单元和组织多个基本舞蹈动作，从音乐中生成逼真、多样、风格一致且与节拍匹配的舞蹈。

    Nov, 2019

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

    本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。

    Nov, 2020

  • 韵律即舞者：具有全局结构的音乐驱动运动合成

    本文提出了一种以音乐驱动的舞蹈合成框架，能够在保证特定舞蹈风格总体结构一致的同时，生成长期与节拍同步的多样运动，包括连贯的姿势，按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统，包括位姿、动作图案和编舞级别。其中，LSTM 组件生成时间上连续的姿势序列，动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动，编舞级别驱动系统遵循舞蹈总体结构，选择表演动作的顺序。实验表明，该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动，并能控制合成运动的内容。

    Nov, 2021

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024