Nov, 2023

MagicDance: 逼真的人类舞蹈视频生成与动作及面部表情迁移

PDF
TL;DR我们提出了一种基于扩散的模型 MagicDance，用于处理具有挑战性的人类舞蹈视频中的 2D 人体动作和面部表情转换。通过预训练外观控制块和微调外观 - 姿势 - 关节点控制块的两阶段训练策略，我们旨在在保持身份不变的同时生成任何目标身份驱动的人类舞蹈视频。
发现论文，激发创造
  • MagicAnimate: 使用扩散模型的时间一致人体图像动画

    这篇论文研究了人物图像动画任务，提出了一种基于扩散的框架 MagicAnimate，旨在提高动画的时间一致性、保持参考图像的准确性和提升动画质量。通过引入视频扩散模型、新颖的外观编码器和简单的视频融合技术，该方法在两个基准测试中表现出卓越的性能，其中在具有挑战性的 TikTok 舞蹈数据集上，视频保真度比最强基线方法提高了 38% 以上。

    Nov, 2023

  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • DreaMoving: 基于扩散模型的人类舞蹈视频生成框架

    提出 DreaMoving，一种基于扩散的可控制视频生成框架，用于生成高质量的个性化人类舞蹈视频。

    Dec, 2023

  • 舞动的阿凡达：基于姿势和文本引导的人体动作视频合成与图像扩散模型

    提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

    Aug, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 每个人都跳舞

    本文介绍一种简单的方法来实现 “像我这样做” 的运动转移：使用 “姿势” 作为中间表示，从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体，并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。

    Aug, 2018

  • MagicPose4D：使用外貌和动作控制打造关节模型

    使用 monocular 视频作为动作提示，MagicPose4D 提供了对 4D 生成中外貌和动作的精细控制。通过双阶段 4D 重建和跨类别动作传输，MagicPose4D 在各种基准测试中显著提高了 4D 内容生成的准确性和一致性。

    May, 2024

  • 与您共舞：通过扩散模型实现多样控制的舞者生成

    在这篇论文中，我们介绍了一种名为合作伴舞生成的新型多舞者合成任务，旨在合成能够与用户一起跳舞的虚拟人舞者，其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架，通过引入不同舞蹈姿势的动作采集、相似度协调和舞蹈动作转移来实现这一目标。通过对我们的 AIST-M 数据集的全面评估，证明了 DanY 可以以可控的多样性合成令人满意的合作伴舞结果。

    Aug, 2023

  • VividPose: 提升稳定视频扩散以实现逼真的人体图像动画

    通过使用稳定的视频扩散 (SVD)、面部信息集成、准确对齐人体姿态和形状的控制器，VividPose 通过保持人物身份，并提供一个能处理多种身体形状和动态手部运动的坚实框架，实现了最先进的性能，并展示出在我们提出的野外数据集上的出色泛化能力。

    May, 2024

  • 魔法化身：多模态化身生成与动画

    MagicAvatar 是一种用于多模态视频生成和人体化身动画的框架，通过将动作明确分离为两个阶段：多模态到动作转换和动作到视频生成，在提供的人物图像的基础上能够实现简单的人物动画和根据第一阶段产生的具体动作实现特定身份的人物动画。

    Aug, 2023