MMAug, 2023

与您共舞：通过扩散模型实现多样控制的舞者生成

PDF
TL;DR在这篇论文中，我们介绍了一种名为合作伴舞生成的新型多舞者合成任务，旨在合成能够与用户一起跳舞的虚拟人舞者，其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架，通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估，证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。
发现论文，激发创造
  • DisCo: 面向现实世界参考人体舞蹈生成的解耦控制

    本文中，我们定义了一个新的问题，即指代人类舞蹈生成，并且介绍了一种名为 DISCO 的新方法，该方法利用一种新的模型架构，并且采用分离式控制，以提高舞蹈合成的保真度和可组合性，并采用有效的人类特征预训练以实现更好的通用性。结果表明，DISCO 可以生成高质量的人类舞蹈图像和视频，具有多种外观和灵活的动作。

    Jun, 2023

  • 朝向三维舞蹈动作合成和控制

    本文提出了一种基于时间卷积和 LSTM 的新型生成运动模型 (TC-LSTM)，并引入了特定的控制信号即舞蹈旋律线，以提高控制可控性，成功地实现了多种舞蹈类型的艺术舞蹈动作合成，性能优于现有方法。

    Jun, 2020

  • DreaMoving: 基于扩散模型的人类舞蹈视频生成框架

    提出 DreaMoving，一种基于扩散的可控制视频生成框架，用于生成高质量的个性化人类舞蹈视频。

    Dec, 2023

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • 音乐驱动舞蹈生成中的多模态控制探索

    我们提出了一个统一的框架，能够生成高质量的舞蹈动作并支持多模态控制，包括流派控制，语义控制和空间控制，实验证明所提出的舞蹈生成框架在动作质量和可控性方面优于现有的方法。

    Jan, 2024

  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • 使用 Transformer 学习生成多样化的舞蹈动作

    本文介绍了一种生成高质量、多样化舞蹈序列的系统，使用包括 YouTube 视频在内的大量数据集进行训练，并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。

    Aug, 2020

  • 可控的对比扩散群舞

    利用扩散式生成方法和群舞动画控制策略生成高质量、可定制的群舞，以满足多样性和一致性需求，实验证明了方法的有效性。

    Oct, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023