Dec, 2023

AnimateZero：视频扩散模型能进行零样动画生成

PDF
TL;DR通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。
text-to-video diffusion modelsprecise control abilityanimatezeroappearance controltemporal control
发现论文，激发创造
  • Text2AC-Zero：使用 2D 扩散一致合成动画角色

    我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。

    Dec, 2023

  • TI2V-Zero: 文本到视频扩散模型中的零样本图像调节

    提出了 TI2V-Zero：一种无需优化或微调的零样本方法，通过使用预训练的文本到视频扩散模型，使其能够在给定图像的条件下生成实际视频。该方法使用 “重复滑动” 策略来引导视频生成，并提供了一种保持视觉细节的新合成帧初始化和重新采样技术，从而实现视频的逐帧合成。TI2V-Zero 在领域特定和开放领域数据集上的实验证明了其优越性能，并且能够无缝扩展到其他任务和支持长视频生成。

    Apr, 2024

  • AnimateDiff: 个性化文本图像扩散模型的动画化方法

    通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

    Jul, 2023

  • Motion-Zero：基于扩散的视频生成中的零表示移动物体控制框架

    我们提出了一种新颖的零样条移动物体轨迹控制框架 Motion-Zero，通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型，无需任何训练过程，大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。

    Jan, 2024

  • 一键式动作定制的文本到视频扩散模型

    通过低秩适应的时空注意力层，该文献介绍了一种用于一次性运动定制的自定义视频模型，可以从单个参考视频中学习运动信息，以适应新的主题和场景，并可轻松扩展到多个下游任务。

    Feb, 2024

  • FlowZero：基于 LLM 驱动的动态场景语法的零样本文本到视频合成

    Text-to-video generation using FlowZero, a framework that combines Large Language Models (LLMs) with image diffusion models, achieves improvement in zero-shot video synthesis by generating coherent videos with vivid motion.

    Nov, 2023

  • 零样本文本指导的视频到视频转换

    本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

    Jun, 2023

  • UniAnimate: 统一视频扩散模型驯服一致人类形象动画

    通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

    Jun, 2024

  • VideoCrafter1：高质量视频生成的开放扩散模型

    视频生成的开源模型包括文本到视频和图像到视频两种扩散模型。文本到视频模型能够生成高分辨率、逼真且影片般质量的视频，而图像到视频模型可以将给定的图像转化为视频片段并保留内容约束。这些开源视频生成模型将在技术进步中做出重要贡献。

    Oct, 2023

  • 文本到图像扩散模型是零样本分类器

    通过使用扩散模型的去噪能力作为代理，将零样本分类器应用于 Imagen，探究其知识方面并与 CLIP 进行比较，结果显示 Imagen 与 CLIP 在零样本图像分类方面表现相当，同时在形状 / 纹理偏差测试方面取得了最先进的结果，能够成功地执行属性绑定，而 CLIP 则不能。因此，我们认为应该探索将生成预训练作为一种有吸引力的视觉和视觉语言问题的替代方法。

    Mar, 2023