LongDanceDiff:基于条件扩散模型的长期舞蹈生成
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技术水平。
Jun, 2020
使用双向自回归扩散模型 (BADM) 生成与音乐相协调的舞蹈动作,通过在前后方向均保持协调一致的双向编码器和局部信息解码器,实现了生成新动作、平滑运动、提高舞蹈与节拍的同步性等功能。实验结果表明,该模型在音乐到舞蹈生成的重要基准上达到了最先进的性能。
Feb, 2024
本研究提出了一种基于 Transformer 模型,结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型,同时使用了包括专业舞者和业余舞者的当前最大的 3D 舞蹈动作数据集,通过物体评价和用户调查对比了两个基准模型,并表明要生成与音乐相匹配的有趣,多样和逼真的舞蹈,既需要模型具备建模概率分布的能力,又需要能够关注大范围的运动和音乐情境。
Jun, 2021
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
本研究通过先生成关键姿势再进行中间参数运动曲线预测的两阶段过程,提出了一种新的方法 DanceFormer,通过两个级联的运动学增强变换器指导网络(称为 DanTrans)处理每个阶段,在现有数据集的训练下可以生成超过以前的研究成果的流畅、表现性和与音乐匹配的 3D 舞蹈,并且可以和工业动画软件无缝对接,可以方便地适用于各种项目。
Mar, 2021
在这篇论文中,我们介绍了一种名为合作伴舞生成的新型多舞者合成任务,旨在合成能够与用户一起跳舞的虚拟人舞者,其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架,通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估,证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。
Aug, 2023
通过音乐作为条件输入,直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则,采用了音乐作为图像到视频生成的条件因素。
May, 2024