Jul, 2022

BRACE：用于舞蹈动作合成的Breaking比赛数据集

HTML
PDF
TL;DR该研究介绍了一个新的数据集，BRACE，它由复杂的人体姿势组成，用于挑战现有的舞蹈动作综合模型的局限性。该数据集可促进舞蹈运动综合的进步。
发现论文，激发创造
  • 舞动卷积

    通过神经网络和生成模型，学习舞曲编排的任务分解为两个子任务：决定何时放置舞步和选择哪些舞步。

    Mar, 2017

  • 通过课程学习生成长期跟音乐舞蹈的Dance Revolution

    本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法，通过设计一种课程学习策略，使其在长时间序列生成过程中减轻自回归模型中的误差积累，从而有效地捕捉音乐和舞蹈之间的微观对应关系，实验结果表明，该方法在自动度量和人类评估等方面明显优于现有技术水平。

    Jun, 2020

  • 学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

    本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。

    Nov, 2020

  • Transflower：多模态注意力下的概率自回归舞蹈生成

    本研究提出了一种基于Transformer模型，结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型，同时使用了包括专业舞者和业余舞者的当前最大的3D舞蹈动作数据集，通过物体评价和用户调查对比了两个基准模型，并表明要生成与音乐相匹配的有趣，多样和逼真的舞蹈，既需要模型具备建模概率分布的能力，又需要能够关注大范围的运动和音乐情境。

    Jun, 2021

  • 层次化舞蹈视频识别无监督3D姿态估计

    提出了一种分层舞蹈视频识别框架(HDVR)，它通过估计2D姿势序列，跟踪舞者，并同时估计相应的3D姿势和3D到2D成像参数来提取舞蹈的层次结构。我们在多人跟踪和通过LSTM网络识别舞蹈类型方面优于现有的3D姿势估计方法。

    Sep, 2021

  • 韵律即舞者:具有全局结构的音乐驱动运动合成

    本文提出了一种以音乐驱动的舞蹈合成框架，能够在保证特定舞蹈风格总体结构一致的同时，生成长期与节拍同步的多样运动，包括连贯的姿势，按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统，包括位姿、动作图案和编舞级别。其中，LSTM组件生成时间上连续的姿势序列，动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动，编舞级别驱动系统遵循舞蹈总体结构，选择表演动作的顺序。实验表明，该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动，并能控制合成运动的内容。

    Nov, 2021

  • 音乐驱动的团体编舞

    本文介绍了一个用于多人音乐驱动舞蹈生成的大规模数据集AIOZ-GDANCE，并提出了一种新的方法来生成多人一致的舞蹈，同时还提出了新的评估度量标准来衡量生成的舞蹈质量。

    Mar, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的DiffDance模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • DanceCamera3D：音乐和舞蹈的三维摄像机运动合成

    通过提出多模态三维数据集DCM和基于Transformer的扩散模型DanceCamera3D，综合定量和定性证据显示了DanceCamera3D模型的有效性，以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。

    Mar, 2024

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的Dance Any Beat Diffusion模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024