Dec, 2023

FlashVideo：快速从文本生成视频的框架

PDF
TL;DRFlashVideo 是一种新颖框架，通过使用 RetNet 架构，将序列长度为 L 的推理时间复杂度从 O (L^2) 降低到 O (L)，从而显著加快推理速度，并且通过抛弃冗余帧插值方法来增强帧插值的效率，实现了相对传统自回归转换模型的 9.17 倍效率提升，并且推理速度与基于 BERT 的转换模型相当。
发现论文，激发创造
  • Snap Video：用于文本到视频合成的缩放时空 Transformers

    生成高质量、时空连贯、动作复杂的视频，提升图像模型的视频生成能力，并减少运算负载。

    Feb, 2024

  • ControlVideo: 无需训练的可控文本到视频生成

    ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

    May, 2023

  • StreamingT2V：基于文本的一致、动态、可扩展长视频生成

    通过 StreamingT2V 方法，可以实现高质量的长视频生成，该方法采用文本到视频扩散模型并引入条件注意模块，具有一致性和高运动量。

    Mar, 2024

  • FusionFrames：文本到视频生成流程的高效架构方案

    本研究提出了一种基于文本到图像扩散模型的新的两阶段潜在扩散文本到视频生成架构，该架构对关键帧合成和插值帧生成进行建模，并通过比较不同的时间条件方法和视频解码方案进行实验评估，最终在视频生成质量方面取得了较好的结果。

    Nov, 2023

  • 零样本文本指导的视频到视频转换

    本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

    Jun, 2023

  • 自回归视频模型的扩展

    通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

    Jun, 2019

  • ART・V: 基于扩散模型的自回归文本到视频生成

    ART・V 是一个高效的自回归视频生成框架，使用扩散模型逐帧生成视频，并通过简化连续帧之间的运动来避免建模复杂的远程运动，同时保留预训练图像扩散模型的高保真生成能力。通过结合文本、图像等多种提示，ART・V 可以生成任意长度的视频，具有高度的多功能性和灵活性。通过引入掩蔽扩散模型和使用初始帧作为条件，ART・V 进一步提升了生成一致性和生成的视觉质量，能够在短时间内生成带有自然运动、丰富细节和高美感的视频，并支持多个文本提示组合成长视频的应用。

    Nov, 2023

  • VideoFactory: 基于时空扩散的交换注意力机制用于文本到视频生成

    VideoFactory 是一种通过使用 swapped cross-attention mechanism 从而加强空间和时间相互感知的方法，并借助大规模的 HD-VG-130M 视频数据集，实现生成无水印、高清晰度、通用领域的视频。研究结果表明，该方法在单帧质量、时间相关性和文本视频对齐方面具有明显优势。

    May, 2023

  • MagicVideo：利用潜在扩散模型高效生成视频

    MagicVideo 利用基于潜在扩散模型的高效文本生成视频框架生成与文本内容高度相关的逼真视频片段，并使用低维潜在空间在单个 GPU 卡上生成具有 256x256 空间分辨率的视频片段，可以在 64 倍于最近的视频扩散模型（VDM）的速度下生成。

    Nov, 2022

  • 基于文本的视频生成

    通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

    Oct, 2017