Feb, 2024

双向自回归扩散模型的舞蹈生成

PDF
TL;DR使用双向自回归扩散模型 (BADM) 生成与音乐相协调的舞蹈动作，通过在前后方向均保持协调一致的双向编码器和局部信息解码器，实现了生成新动作、平滑运动、提高舞蹈与节拍的同步性等功能。实验结果表明，该模型在音乐到舞蹈生成的重要基准上达到了最先进的性能。
发现论文，激发创造
  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 音乐驱动的编舞生成：使用自回归编码器 - 解码器网络

    通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统，该网络利用音乐和对应的舞蹈运动，运用多媒体片段进行训练，能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究，结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。

    Nov, 2018

  • AAMDM: 加速的自回归运动扩散模型

    通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

    Dec, 2023

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • 使用自回归扩散模型的可控运动合成和重建

    该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

    Apr, 2023

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • 音乐指挥运动生成中的扩散模型驯服

    该论文提出了 Diffusion-Conductor，它是一种基于 DDIM 的新方法，用于从给定的交响乐中生成乐队指挥的运动，并使用几种新的测量标准进行评估。

    Jun, 2023

  • Transflower：多模态注意力下的概率自回归舞蹈生成

    本研究提出了一种基于 Transformer 模型，结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型，同时使用了包括专业舞者和业余舞者的当前最大的 3D 舞蹈动作数据集，通过物体评价和用户调查对比了两个基准模型，并表明要生成与音乐相匹配的有趣，多样和逼真的舞蹈，既需要模型具备建模概率分布的能力，又需要能够关注大范围的运动和音乐情境。

    Jun, 2021

  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022