Nov, 2020

学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

PDF
TL;DR本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。
发现论文，激发创造
  • 基础舞步生成的弱监督深度递归神经网络

    本研究提出了一种基于弱监督深度循环方法的，使用音频功率谱作为输入的基础舞蹈生成模型，采用卷积层和多层 LSTM 处理音频输入，并利用对比代价函数调节音乐和舞蹈节拍之间的映射，同时从舞蹈节拍生成弱标签进行模型训练，实验结果表明，该模型可以在小数据集上生成基础舞蹈步伐，并且保持与基准舞者类似的 F - 分数。

    Jul, 2018

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • 基于对抗生成图卷积网络的人类动作合成

    本文提出一种名为 Kinetic-GAN 的生成对抗网络结构，利用生成对抗网络和图卷积网络综合分析人体动力学的时空动态，可以在本地和整体身体运动中对多达 120 个不同动作进行调整，从而提高样本质量和多样性，并通过潜在空间解缠和随机变化，能够合成大量的不同动作序列，超越了已有的方法。

    Oct, 2021

  • 音乐驱动的编舞生成：使用自回归编码器 - 解码器网络

    通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统，该网络利用音乐和对应的舞蹈运动，运用多媒体片段进行训练，能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究，结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。

    Nov, 2018

  • 通过课程学习生成长期跟音乐舞蹈的 Dance Revolution

    本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法，通过设计一种课程学习策略，使其在长时间序列生成过程中减轻自回归模型中的误差积累，从而有效地捕捉音乐和舞蹈之间的微观对应关系，实验结果表明，该方法在自动度量和人类评估等方面明显优于现有技术水平。

    Jun, 2020

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 朝向三维舞蹈动作合成和控制

    本文提出了一种基于时间卷积和 LSTM 的新型生成运动模型 (TC-LSTM)，并引入了特定的控制信号即舞蹈旋律线，以提高控制可控性，成功地实现了多种舞蹈类型的艺术舞蹈动作合成，性能优于现有方法。

    Jun, 2020

  • 利用循环神经网络和对抗训练进行人体动作合成与控制

    本研究提出了一种新的生成式深度学习网络，用于人体动作的合成和控制，通过结合循环神经网络（RNN）和对抗训练来进行优化。研究表明，该模型可以高效地生成自然流畅的动作序列，并通过各种比较与实验，证明其卓越性能和有效性。

    Jun, 2018

  • 使用 Transformer 学习生成多样化的舞蹈动作

    本文介绍了一种生成高质量、多样化舞蹈序列的系统，使用包括 YouTube 视频在内的大量数据集进行训练，并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。

    Aug, 2020

  • 从舞蹈视频生成复杂音乐的量化生成对抗网络

    D2M-GAN 是一个基于多模态对抗网络的音乐生成框架，能够根据舞蹈视频生成对应的流行音乐等复杂风格，使用向量量化的音频表示，通过对多个数据集的评估，证明了此方法的有效性，并提供了一个使用 TikTok 视频的数据集用于未来相关研究的起点。

    Apr, 2022