具有风格描述提示的灵活音乐条件舞蹈生成
通过设计了一种长期舞蹈生成模型,LongDanceDiff,基于条件扩散模型,在解决时间一致性和空间约束方面具有挑战性,以提高生成舞蹈动作的多样性和质量。
Aug, 2023
我们提出了一个统一的框架,能够生成高质量的舞蹈动作并支持多模态控制,包括流派控制,语义控制和空间控制,实验证明所提出的舞蹈生成框架在动作质量和可控性方面优于现有的方法。
Jan, 2024
使用双向自回归扩散模型 (BADM) 生成与音乐相协调的舞蹈动作,通过在前后方向均保持协调一致的双向编码器和局部信息解码器,实现了生成新动作、平滑运动、提高舞蹈与节拍的同步性等功能。实验结果表明,该模型在音乐到舞蹈生成的重要基准上达到了最先进的性能。
Feb, 2024
多条件人体动作合成任务的目标是结合多样的条件输入,例如文本、音乐、语音等,使任务能够适应于多种场景,从文本到动作、音乐到舞蹈等。本文引入了 MCM 框架,通过与任何 DDPM 类扩散模型相结合,实现多条件信息输入,同时保持其生成能力。我们还引入了一种基于 Transformer 的扩散模型 MWNet 作为我们的主要分支,通过通道维度的自注意力模块捕捉运动序列中的空间复杂性和关节之间的相关性。定量比较表明,我们的方法在文本到动作任务中取得了 SOTA 结果,并在音乐到舞蹈任务中取得了竞争性结果,可与任务特定的方法相媲美。此外,定性评估表明,MCM 不仅简化了原本设计用于文本到动作任务的方法在音乐到舞蹈和语音到手势等领域的适应性,消除了对网络重构的需求,而且实现了有效的多条件模态控制,实现了 “训练一次,生成动作无限”。
Sep, 2023
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
提出了一种名为 Bailando 的用于将音乐转换为舞蹈的新型框架,它使用了两个强大的组件:学习从 3D 姿势序列总结有意义的舞蹈单元的编舞记忆, 并使用基于演员 - 评论家的生成预训练变压器 (GPT) 将这些单元组合成与音乐一致的流畅舞蹈,通过使用这个音乐转换为舞蹈的框架,已经达到了最先进的性能水平,并发现了人类可解释的舞蹈风格姿势。
Mar, 2022
本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集 AIOZ-GDANCE,并提出了一种新的方法来生成多人一致的舞蹈,同时还提出了新的评估度量标准来衡量生成的舞蹈质量。
Mar, 2023
本研究通过先生成关键姿势再进行中间参数运动曲线预测的两阶段过程,提出了一种新的方法 DanceFormer,通过两个级联的运动学增强变换器指导网络(称为 DanTrans)处理每个阶段,在现有数据集的训练下可以生成超过以前的研究成果的流畅、表现性和与音乐匹配的 3D 舞蹈,并且可以和工业动画软件无缝对接,可以方便地适用于各种项目。
Mar, 2021