Nov, 2023

实现动画的任何人：一致且可控的角色动画图像到视频的合成

PDF
TL;DR通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。
character animationdiffusion modelsdetail featurespose guiderinter-frame transitions
发现论文，激发创造
  • UniAnimate: 统一视频扩散模型驯服一致人类形象动画

    通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

    Jun, 2024

  • MagicAnimate: 使用扩散模型的时间一致人体图像动画

    这篇论文研究了人物图像动画任务，提出了一种基于扩散的框架 MagicAnimate，旨在提高动画的时间一致性、保持参考图像的准确性和提升动画质量。通过引入视频扩散模型、新颖的外观编码器和简单的视频融合技术，该方法在两个基准测试中表现出卓越的性能，其中在具有挑战性的 TikTok 舞蹈数据集上，视频保真度比最强基线方法提高了 38% 以上。

    Nov, 2023

  • Text2AC-Zero：使用 2D 扩散一致合成动画角色

    我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。

    Dec, 2023

  • 3D 控制合成运动人物

    利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

    Jan, 2024

  • PoseAnimate: 零样本高保真度姿势可控角色动画

    从单张图片生成视频序列的 PoseAnimate 是一种新颖的零样本人物动画框架，通过将多样化的姿势信号整合到条件嵌入中以保持人物独立内容并维持动作的精确对齐，增强了时序一致性、保留了人物身份特征和复杂背景细节以及通过解耦角色和背景改善动画精度。实验结果表明，该方法在人物一致性和细节保真度方面优于现有的基于训练的方法，并且在所生成动画中始终保持较高水平的时序一致性。

    Apr, 2024

  • Video ControlNet：条件图像扩散模型实现时域一致的虚拟到真实视频翻译

    本研究提出了一种高效有效的方法，通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换，同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息，通过联合噪声优化有效地最小化了时空不一致性，实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性，并且我们的方法不需要对扩散模型进行任何培训或微调。 最后，我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。

    May, 2023

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

    May, 2024

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • DynamiCrafter: 用视频扩散先验动画化开放域图像

    通过将静止图像与动态相结合，提供更具吸引力的视觉体验。

    Oct, 2023

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023