May, 2024

EasyAnimate：一种基于 Transformer 架构的高性能长视频生成方法

PDF
TL;DREasyAnimate 是一种基于 Transformer 架构的视频生成方法，通过将运动模块块纳入 DiT 框架，扩展了 2D 图像综合的方法以适应 3D 视频生成的复杂性，能够捕捉时间动态，生成一致的帧和无缝的运动过渡，可用于生成不同风格、不同帧率和分辨率的图像和视频。
easyanimatevideo generationtransformer architecturedit frameworkmotion module
发现论文，激发创造
  • 基于无时间感知 VQGAN 和时间敏感 Transformer 的长视频生成

    本文提出了一种利用 3D-VQGAN 和 transformers 生成长视频的方法，并通过 UCF-101、Sky Time-lapse 和 Taichi-HD 数据集的 16 帧视频剪辑进行了验证，同时还展示了结合文本和音频等条件扩展的方法。

    Apr, 2022

  • UniAnimate: 统一视频扩散模型驯服一致人类形象动画

    通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

    Jun, 2024

  • LoopAnimate：可循环的显著对象动画

    该论文提出了一种名为 LoopAnimate 的新方法，用于生成具有一致的起始和结束帧的视频，通过解耦多级图像外观和文本语义信息，将图像外观和文本语义嵌入到扩散模型的不同位置，以提高对象准确性，并引入 Temporal Enhanced Motion Module（TEMM）来扩展编码时间和位置信息的能力，使得该方法能够生成长度为 35 帧且质量较高的视频，实验证明其在客观指标（如准确性和时间一致性）和主观评估结果上均达到了最先进的性能。

    Apr, 2024

  • AnimateZero：视频扩散模型能进行零样动画生成

    通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

    Dec, 2023

  • AnimateDiff: 个性化文本图像扩散模型的动画化方法

    通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

    Jul, 2023

  • 生成动态场景的长视频

    本研究提出了一种视频生成模型，通过重新设计时域隐变量表示和学习长期一致性并进行长时间分辨率分别为低和高的两阶段训练策略来优化生成视频的时序一致性，所得的模型经过新的基准数据集的测试，取得了良好的效果。

    Jun, 2022

  • Snap Video：用于文本到视频合成的缩放时空 Transformers

    生成高质量、时空连贯、动作复杂的视频，提升图像模型的视频生成能力，并减少运算负载。

    Feb, 2024

  • ViViT: 一种视频视觉 Transformer

    本研究提出一种基于纯 Transformer 模型的视频分类方法，采用从图像分类中成功应用的模型。通过从输入视频中提取时空标记，并通过一系列 Transformer 层进行编码。为了处理视频中遇到的长序列，我们提出了一些高效的模型变体，可分解输入的空间和时间维度。尽管 Transformer 模型只在有大型训练数据集时有效，但我们展示了如何有效规范化模型，并利用预训练的图像模型，使得我们能够在相对较小的数据集上进行训练。我们进行了彻底的削减研究，并在多个视频分类基准测试中实现了最先进的结果，包括 Kinetics 400 和 600，Epic Kitchens，Something-Something v2 和 Moments in Time，优于基于深度 3D 卷积网络的先前方法。为了促进进一步的研究，我们在以下链接中发布了代码。

    Mar, 2021

  • AV-DiT：联合音频与视频生成的高效音频 - 视觉扩散变压器

    通过使用基于 Transformer 的 diffuser，我们介绍了 AV-DiT，一种用于生成高质量真实视频的音频 - 视觉扩散变压器，具有多模式内容创作的显著效能，并在联合音频 - 视觉生成中具有最先进的性能。

    Jun, 2024

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

    May, 2024