Jun, 2023

DisCo: 面向现实世界参考人体舞蹈生成的解耦控制

PDF
TL;DR本文中，我们定义了一个新的问题，即指代人类舞蹈生成，并且介绍了一种名为 DISCO 的新方法，该方法利用一种新的模型架构，并且采用分离式控制，以提高舞蹈合成的保真度和可组合性，并采用有效的人类特征预训练以实现更好的通用性。结果表明，DISCO 可以生成高质量的人类舞蹈图像和视频，具有多种外观和灵活的动作。
generative aidance synthesishuman-centric contentdiscogeneralizability
发现论文，激发创造
  • 与您共舞：通过扩散模型实现多样控制的舞者生成

    在这篇论文中，我们介绍了一种名为合作伴舞生成的新型多舞者合成任务，旨在合成能够与用户一起跳舞的虚拟人舞者，其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架，通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估，证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。

    Aug, 2023

  • 朝向三维舞蹈动作合成和控制

    本文提出了一种基于时间卷积和 LSTM 的新型生成运动模型 (TC-LSTM)，并引入了特定的控制信号即舞蹈旋律线，以提高控制可控性，成功地实现了多种舞蹈类型的艺术舞蹈动作合成，性能优于现有方法。

    Jun, 2020

  • 通过 3D 模拟对比学习实现解耦和可控的人脸图像生成

    通过对抗性学习和比较对生成的图像进行区分，利用控制潜在变量的方式实现虚拟人脸图像的生成

    Apr, 2020

  • 零構人體多人舞蹈生成

    提出了一种名为 MultiDance-Zero 的零样本框架，用于合成符合任意多人和背景的视频，同时准确地遵循动作姿势，通过深入回溯获取最终清晰图像的背景和关键点，从而进一步提高生成视频的时序一致性。

    Jan, 2024

  • 舞动的阿凡达：基于姿势和文本引导的人体动作视频合成与图像扩散模型

    提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

    Aug, 2023

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020

  • disco：生成模型分布控制的工具包

    本文提出了一个名为 disco 的 Python 库，用于使分布式控制技术更容易为广大公众所使用，以解决现有语言模型和其他生成模型所遇到的不足和局限。

    Mar, 2023

  • 音乐驱动舞蹈生成中的多模态控制探索

    我们提出了一个统一的框架，能够生成高质量的舞蹈动作并支持多模态控制，包括流派控制，语义控制和空间控制，实验证明所提出的舞蹈生成框架在动作质量和可控性方面优于现有的方法。

    Jan, 2024

  • DreaMoving: 基于扩散模型的人类舞蹈视频生成框架

    提出 DreaMoving，一种基于扩散的可控制视频生成框架，用于生成高质量的个性化人类舞蹈视频。

    Dec, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023