Jul, 2023

AnimateDiff: 个性化文本图像扩散模型的动画化方法

PDF
TL;DR通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。
text-to-image modelspersonalization techniquesimage animation techniquesmotion dynamicsmotion modeling module
发现论文，激发创造
  • AnimateZero：视频扩散模型能进行零样动画生成

    通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

    Dec, 2023

  • DynamiCrafter: 用视频扩散先验动画化开放域图像

    通过将静止图像与动态相结合，提供更具吸引力的视觉体验。

    Oct, 2023

  • 一键式动作定制的文本到视频扩散模型

    通过低秩适应的时空注意力层，该文献介绍了一种用于一次性运动定制的自定义视频模型，可以从单个参考视频中学习运动信息，以适应新的主题和场景，并可轻松扩展到多个下游任务。

    Feb, 2024

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • MotionDirector: 文本到视频扩散模型的动作定制

    通过引入双路径的 LoRAs 架构和一种新颖的去除外观影响的时间损失函数，作者提出了 MotionDirector 的方法，可以生成具有不同外观的自定义运动的视频，并支持混合不同视频的外观和运动以及给单个图像添加自定义动作。

    Oct, 2023

  • UniAnimate: 统一视频扩散模型驯服一致人类形象动画

    通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

    Jun, 2024

  • Text2AC-Zero：使用 2D 扩散一致合成动画角色

    我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。

    Dec, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022

  • 文本到视频扩散模型中的定制动作

    通过扩展现有的文本到视频生成模型，我们引入了一种方法来增加定制动作，以超越原始训练数据中所描绘的动作。通过利用几个呈现特定动作的视频样本作为输入，我们的方法学习并概括了多样化的、与文本指定情景相关的输入动作模式。

    Dec, 2023

  • PIA：基于文本到图像模型的即插即用模块实现个性化图像动画

    PIA 是一种个性化图像动画器，通过使用条件模块和基于时间的对齐层，能够使个性化的图像转换成图像动画模型，实现具有运动控制性和各种个性化 T2I 模型的兼容性。

    Dec, 2023