Jan, 2024

Lumiere: 一个用于视频生成的时空扩散模型

PDF
TL;DRLumiere 是一种文本到视频扩散模型，用于综合描绘逼真、多样和连贯的运动，在视频合成中是一个关键的挑战。通过引入空时 U-Net 架构，我们一次性地生成整个视频的时间持续性，与现有的合成关键帧和时间超分辨率的视频模型相比，我们的设计更容易实现全局时间一致性。我们展示了最先进的文本到视频生成结果，并表明我们的设计能够轻松支持广泛的内容创作任务和视频编辑应用，包括图像到视频、视频修复和风格生成。
发现论文，激发创造
  • MagicVideo：利用潜在扩散模型高效生成视频

    MagicVideo 利用基于潜在扩散模型的高效文本生成视频框架生成与文本内容高度相关的逼真视频片段，并使用低维潜在空间在单个 GPU 卡上生成具有 256x256 空间分辨率的视频片段，可以在 64 倍于最近的视频扩散模型（VDM）的速度下生成。

    Nov, 2022

  • 文本到视频生成的网格扩散模型

    通过使用网格扩散模型生成视频，我们可以通过固定数量的 GPU 内存生成高质量的视频，减小视频维度从而可以应用各种基于图像的方法，如基于文本的视频操作。我们的方法在定量和定性评估中表现优于现有方法，证明了我们的模型在真实世界中进行视频生成的适用性。

    Mar, 2024

  • 潜移：通过时间位移进行潜在扩散，实现高效的文本到视频生成

    该研究提出了一种基于预训练图像生成模型的高效文本到视频生成方法 --Latent-Shift，该方法利用 U-Net 扩散模型在潜空间中学习视频扩散模型。利用无参数的时间移位模块来进行视频的生成工作。研究表明，Latent-Shift 的效果可与或更优于已有的方法，并且能够在进行 T2V 生成的微调的情况下生成图像。

    Apr, 2023

  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 高分辨率视频的时间一致性扩展扩散模型

    通过文本引导的潜在扩散框架，实现视频升尺度，并在保持时域一致性和质量平衡之间提供更大灵活性。

    Dec, 2023

  • 扩散模型生成逼真的视频

    通过扩散建模，我们提出了一种基于转换器的 W.A.L.T 方法，用于逼真视频生成。我们采用了两个关键设计决策：一是使用因果编码器在统一的潜在空间中联合压缩图像和视频，实现跨模态的训练和生成；二是为了记忆和训练效率，我们使用了一个针对联合空间和时空生成建模的窗口注意力架构。这些设计决策使我们能够在已知的视频 (UCF-101 和 Kinetics-600) 和图像 (ImageNet) 生成基准上达到最先进的性能，而不使用分类器引导。最后，我们还训练了三个模型的串联，用于文本到视频生成任务，包括基本的潜在视频扩散模型和两个视频超分辨率扩散模型，以每秒 8 帧生成 512 x 896 分辨率的视频。

    Dec, 2023

  • LAVIE：级联潜在扩散模型的高质量视频生成

    该研究论文提出了 LaVie，一个整合的视频生成框架，通过利用预训练的文本到图像模型作为基础，以学习高质量的文本到视频生成模型。通过引入简单的时间自注意机制以及联合图像 - 视频微调的过程，LaVie 能够生成视觉逼真且时间连贯的视频，并保留预训练 T2I 模型的创造性。经广泛实验证明，LaVie 在性能上取得了最先进的表现，并可用于不同的长视频生成和个性化视频合成应用。

    Sep, 2023

  • Dreamix：视频传播模型是通用视频编辑器

    该研究提出了一种基于视频扩散模型的图像和视频编辑方法，利用时序信息和高分辨率信息生成与指导文本匹配的视频，并以完全时间关注和时间关注掩码联合完成模型的微调，实现了较好的编辑效果。

    Feb, 2023

  • 稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集

    我们提出了稳定的视频扩散 - 一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。

    Nov, 2023