Sep, 2023

MDSC：评估音乐与之间的风格一致性

PDF
TL;DRMDSC 是一种评估指标，用于衡量舞蹈动作和音乐匹配程度。通过预训练音乐和动作编码器，以及在联合空间中最小化簇内距离和最大化簇间距离的方式，将舞蹈动作和音乐嵌入进行映射和对齐，并通过测量簇内距离、簇间距离以及两者之间的比例来评估这一度量标准。经过与用户研究的结合，我们发现该度量标准在评估音乐和舞蹈风格相关性方面具有稳健性。
发现论文，激发创造
  • DanceCamera3D：音乐和舞蹈的三维摄像机运动合成

    通过提出多模态三维数据集 DCM 和基于 Transformer 的扩散模型 DanceCamera3D，综合定量和定性证据显示了 DanceCamera3D 模型的有效性，以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。

    Mar, 2024

  • 具有风格描述提示的灵活音乐条件舞蹈生成

    通过 Music-Conditioned Style-Aware Diffusion (MCSAD) 和 spatial-temporal masking strategy，该方法能够生成与音乐内容和风格一致的现实舞蹈序列，对于长期生成、舞蹈中间生成和舞蹈修复等各种任务都具有很大的潜力。

    Jun, 2024

  • 跳舞音乐

    本文提出了一种分析综合学习框架，通过分解舞蹈成一系列基本舞蹈单元和组织多个基本舞蹈动作，从音乐中生成逼真、多样、风格一致且与节拍匹配的舞蹈。

    Nov, 2019

  • 优化传输的音乐生成舞蹈

    本文介绍了一种名为 MDOT-Net 的音乐到舞蹈优化传输网络，用于从音乐中生成真实生动的 3D 舞蹈编排。

    Dec, 2021

  • 音乐相似度的解耦多维度度量学习

    本文介绍了一个新的多维相似度度量方法，通过深度度量学习和基于音轨的信息相结合，将全局和专业的相似性策略融合在了一起，使得音乐相似度搜索的结果更准确。作者在用户研究中证明了该方法具有显著性能优势。

    Aug, 2020

  • TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成

    本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Prediction Distance 和 Freezing Score 两个新指标，成功生成了健康的、连贯的舞蹈动作。

    Apr, 2023

  • 音乐和歌词驱动的舞蹈合成

    介绍了一个新的多模态数据集 JustLMD，其中包括舞蹈动作、音乐和歌词的三元信息，并展示了一种基于跨模态扩散的网络，用于根据音乐和歌词生成 3D 舞蹈动作。

    Sep, 2023

  • 音乐驱动的团体编舞

    本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集 AIOZ-GDANCE，并提出了一种新的方法来生成多人一致的舞蹈，同时还提出了新的评估度量标准来衡量生成的舞蹈质量。

    Mar, 2023

  • SMCD：基于蛇毒扩散的高逼真运动风格转移

    通过 Style Motion Conditioned Diffusion (SMCD) 框架和 Motion Style Mamba (MSM) 模块，解决了传统 GAN 方法在运动风格迁移中的不稳定性和收敛问题，并成功生成更加逼真的运动序列。

    May, 2024

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020