Dec, 2023

DreaMoving: 基于扩散模型的人类舞蹈视频生成框架

PDF
TL;DR提出 DreaMoving，一种基于扩散的可控制视频生成框架，用于生成高质量的个性化人类舞蹈视频。
发现论文，激发创造
  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • MagicDance: 逼真的人类舞蹈视频生成与动作及面部表情迁移

    我们提出了一种基于扩散的模型 MagicDance，用于处理具有挑战性的人类舞蹈视频中的 2D 人体动作和面部表情转换。通过预训练外观控制块和微调外观 - 姿势 - 关节点控制块的两阶段训练策略，我们旨在在保持身份不变的同时生成任何目标身份驱动的人类舞蹈视频。

    Nov, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 舞动的阿凡达：基于姿势和文本引导的人体动作视频合成与图像扩散模型

    提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

    Aug, 2023

  • 3D 控制合成运动人物

    利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

    Jan, 2024

  • 与您共舞：通过扩散模型实现多样控制的舞者生成

    在这篇论文中，我们介绍了一种名为合作伴舞生成的新型多舞者合成任务，旨在合成能够与用户一起跳舞的虚拟人舞者，其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架，通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估，证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。

    Aug, 2023

  • DreamVideo: 定制主题与动作，创作您梦想的视频

    通过使用扩散模型进行定制生成，在图像生成方面取得了可观的进展，但在具有挑战性的视频生成任务中仍然不令人满意，因为它需要对主题和动作的可控性。为此，我们提出了 DreamVideo，一种新颖的方法，可以从几个所需主题的静态图像和几个目标运动的视频来生成个性化视频。

    Dec, 2023

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • VideoControlNet：一个使用控制网络的扩散模型的运动引导视频到视频翻译框架

    通过使用具有控制网络的扩散模型，在给定提示和输入视频的条件下，我们提出了一种新的运动引导视频到视频转换框架 VideoControlNet，以生成各种视频。通过使用运动信息来防止冗余区域的再生成以保持内容一致性。

    Jul, 2023

  • Music2Dance：音乐驱动的舞蹈生成 DanceNet

    该论文提出了一种基于自回归生成模型的新方法 DanceNet，以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作，并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能，实验结果表明所提出的方法达到了最先进的效果。

    Feb, 2020