该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
本文提出了一种分析综合学习框架,通过分解舞蹈成一系列基本舞蹈单元和组织多个基本舞蹈动作,从音乐中生成逼真、多样、风格一致且与节拍匹配的舞蹈。
Nov, 2019
通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统,该网络利用音乐和对应的舞蹈运动,运用多媒体片段进行训练,能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究,结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。
Nov, 2018
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技术水平。
Jun, 2020
本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集 AIOZ-GDANCE,并提出了一种新的方法来生成多人一致的舞蹈,同时还提出了新的评估度量标准来衡量生成的舞蹈质量。
Mar, 2023
通过音乐作为条件输入,直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则,采用了音乐作为图像到视频生成的条件因素。
May, 2024
研究音乐和舞蹈生成模型,提出了一种双重学习方法,既可以为给定的舞蹈创作音乐,又可以为音乐创作舞蹈编排,以使生成的作品更加逼真和符合条件的输入。
Jan, 2022
D2M-GAN 是一个基于多模态对抗网络的音乐生成框架,能够根据舞蹈视频生成对应的流行音乐等复杂风格,使用向量量化的音频表示,通过对多个数据集的评估,证明了此方法的有效性,并提供了一个使用 TikTok 视频的数据集用于未来相关研究的起点。
Apr, 2022
本研究旨在设计一种模仿人类编舞过程的两阶段音乐到舞蹈合成框架 ChoreoNet,通过构建数据集并设计 CAU 预测模型和一个时间空间修补模型,实现音乐到舞蹈的合成,并通过用户研究评估该方法的性能。
Sep, 2020
我们提出了一个框架,使非人形代理能够从人类视频中学习跳舞,通过训练一个奖励模型,该模型可以感知光流(视觉节奏)和音乐之间的关系,并通过生成与音乐匹配的视觉节奏的动作来学习跳舞。