Jun, 2020

朝向三维舞蹈动作合成和控制

PDF
TL;DR本文提出了一种基于时间卷积和 LSTM 的新型生成运动模型 (TC-LSTM)，并引入了特定的控制信号即舞蹈旋律线，以提高控制可控性，成功地实现了多种舞蹈类型的艺术舞蹈动作合成，性能优于现有方法。
3d human dance motiongenerative motion modeltemporal convolutionlstmdance melody line
发现论文，激发创造
  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • 使用 Transformer 学习生成多样化的舞蹈动作

    本文介绍了一种生成高质量、多样化舞蹈序列的系统，使用包括 YouTube 视频在内的大量数据集进行训练，并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。

    Aug, 2020

  • 音乐驱动舞蹈生成中的多模态控制探索

    我们提出了一个统一的框架，能够生成高质量的舞蹈动作并支持多模态控制，包括流派控制，语义控制和空间控制，实验证明所提出的舞蹈生成框架在动作质量和可控性方面优于现有的方法。

    Jan, 2024

  • 韵律即舞者：具有全局结构的音乐驱动运动合成

    本文提出了一种以音乐驱动的舞蹈合成框架，能够在保证特定舞蹈风格总体结构一致的同时，生成长期与节拍同步的多样运动，包括连贯的姿势，按特定分布的相连动作和整个舞蹈的运动顺序。该框架是一个分层系统，包括位姿、动作图案和编舞级别。其中，LSTM 组件生成时间上连续的姿势序列，动作图案级别利用新颖的动态感知丢失来引导一组连续的姿势形成属于特定分布的运动，编舞级别驱动系统遵循舞蹈总体结构，选择表演动作的顺序。实验表明，该以音乐驱动的框架能够在各种舞蹈类型上生成自然、一致的运动，并能控制合成运动的内容。

    Nov, 2021

  • 人类动作合成的计算编舞

    利用深度学习建立神经网络来预测舞蹈动作并生成新的舞蹈动作序列。

    Oct, 2022

  • 与您共舞：通过扩散模型实现多样控制的舞者生成

    在这篇论文中，我们介绍了一种名为合作伴舞生成的新型多舞者合成任务，旨在合成能够与用户一起跳舞的虚拟人舞者，其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架，通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估，证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。

    Aug, 2023

  • DisCo: 面向现实世界参考人体舞蹈生成的解耦控制

    本文中，我们定义了一个新的问题，即指代人类舞蹈生成，并且介绍了一种名为 DISCO 的新方法，该方法利用一种新的模型架构，并且采用分离式控制，以提高舞蹈合成的保真度和可组合性，并采用有效的人类特征预训练以实现更好的通用性。结果表明，DISCO 可以生成高质量的人类舞蹈图像和视频，具有多种外观和灵活的动作。

    Jun, 2023

  • DanceCamera3D：音乐和舞蹈的三维摄像机运动合成

    通过提出多模态三维数据集 DCM 和基于 Transformer 的扩散模型 DanceCamera3D，综合定量和定性证据显示了 DanceCamera3D 模型的有效性，以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。

    Mar, 2024

  • 基础舞步生成的弱监督深度递归神经网络

    本研究提出了一种基于弱监督深度循环方法的，使用音频功率谱作为输入的基础舞蹈生成模型，采用卷积层和多层 LSTM 处理音频输入，并利用对比代价函数调节音乐和舞蹈节拍之间的映射，同时从舞蹈节拍生成弱标签进行模型训练，实验结果表明，该模型可以在小数据集上生成基础舞蹈步伐，并且保持与基准舞者类似的 F - 分数。

    Jul, 2018

  • 学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

    本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。

    Nov, 2020