深度学习生成编舞
本研究提出了一种基于弱监督深度循环方法的,使用音频功率谱作为输入的基础舞蹈生成模型,采用卷积层和多层 LSTM 处理音频输入,并利用对比代价函数调节音乐和舞蹈节拍之间的映射,同时从舞蹈节拍生成弱标签进行模型训练,实验结果表明,该模型可以在小数据集上生成基础舞蹈步伐,并且保持与基准舞者类似的 F - 分数。
Jul, 2018
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技术水平。
Jun, 2020
本研究提出了一种新的生成式深度学习网络,用于人体动作的合成和控制,通过结合循环神经网络(RNN)和对抗训练来进行优化。研究表明,该模型可以高效地生成自然流畅的动作序列,并通过各种比较与实验,证明其卓越性能和有效性。
Jun, 2018
通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统,该网络利用音乐和对应的舞蹈运动,运用多媒体片段进行训练,能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究,结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。
Nov, 2018
使用自回归噪声的自条件递归神经网络 (acRNN) 的实时合成高度复杂的人体动作的方法。此方法为首次可以合成超过 18,000 个连续帧 (300 秒) 不同风格的人体运动。
Jul, 2017
本文提出了一种以音乐驱动的舞蹈合成框架,能够在保证特定舞蹈风格总体结构一致的同时,生成长期与节拍同步的多样运动,包括连贯的姿势,按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统,包括位姿、动作图案和编舞级别。其中,LSTM 组件生成时间上连续的姿势序列,动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动,编舞级别驱动系统遵循舞蹈总体结构,选择表演动作的顺序。实验表明,该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动,并能控制合成运动的内容。
Nov, 2021
本文旨在研究人体运动建模领域的前沿研究,特别关注基于深度递归神经网络的研究成果,对当前问题的评价方法进行了调查,在研究现有的体系结构、代价函数和训练程序时,提出了三点标准改进措施,取得了最新技术的突破性进展。
May, 2017
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020