愿舞者与你同在:非人形舞蹈生成框架
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
通过引入 “Let's Dance” 数据集,作者介绍了如何在视频领域应用深度神经网络方法,并探讨了这些方法在学习如何处理动态数据时的价值和性能,特别是在区分需要使用运动信息分类的动态运动大类方面的困难。
Jan, 2018
通过音乐作为条件输入,直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则,采用了音乐作为图像到视频生成的条件因素。
May, 2024
本文提出了一种以音乐驱动的舞蹈合成框架,能够在保证特定舞蹈风格总体结构一致的同时,生成长期与节拍同步的多样运动,包括连贯的姿势,按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统,包括位姿、动作图案和编舞级别。其中,LSTM 组件生成时间上连续的姿势序列,动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动,编舞级别驱动系统遵循舞蹈总体结构,选择表演动作的顺序。实验表明,该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动,并能控制合成运动的内容。
Nov, 2021
文章提出了一个以姿势感知损失的学习方法来自动生成符合音乐的舞蹈视频。文章使用两个区分器来捕捉序列的不同方面,并提出新的姿态感知损失来产生自然的舞蹈,同时还提供了一种新的跨模态评估来评估舞蹈质量。最终,通过一项用户研究,证明了所提出的方法生成的舞蹈视频具有惊人的逼真效果。
Dec, 2019
通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统,该网络利用音乐和对应的舞蹈运动,运用多媒体片段进行训练,能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究,结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。
Nov, 2018
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技术水平。
Jun, 2020
本研究探索了实现在给定舞蹈的情况下生成音乐的可能性,并基于搜索算法和深度神经网络开发了两种不同的方法,并通过与强启发法基准模型的比较,证明了这些方法的有效性。
Jul, 2021
该研究提出了一种探索性的三维舞蹈生成框架 E3D2,旨在解决现有音乐条件下的三维舞蹈生成模型中存在的探索能力不足问题。研究表明,E3D2 框架通过从自动排名的舞蹈示范中训练奖励模型,并通过该模型指导强化学习过程,能够鼓励代理人探索和生成高质量、多样化的舞蹈动作序列。实证实验还在 AIST++ 数据集上证明了 E3D2 的有效性。
Dec, 2023