该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

Apr, 2023

基于给定提示生成视频的文本到视频生成旨在生成可信的视频。最近，一些商业视频模型能够生成具有最小噪声、出色细节和高美观分数的视频。然而，这些模型依赖于大规模、经过良好过滤、高质量的视频，而这对社区来说是不可获得的。许多现有的研究工作使用低质量的 WebVid-10M 数据集来训练模型，由于模型的优化是为了适应 WebVid-10M，因此很难生成高质量的视频。在这项工作中，我们探索了从稳定扩散中延伸的视频模型的训练方案，并研究了利用低质量视频和合成高质量图像获取高质量视频模型的可行性。我们首先分析视频模型的空间和时域模块与低质量视频的分布偏移之间的关联。我们观察到，与仅训练时域模块相比，所有模块的完整训练会导致空间和时域模块之间更强的耦合。基于这种更强的耦合，我们通过使用高质量图像微调空间模块来将分布向更高质量转移，而不会导致运动退化，从而获得通用的高质量视频模型。评估工作说明了所提方法的优越性，特别是在图片质量、动作和概念组合方面。

Jan, 2024

该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

Nov, 2022

本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

Apr, 2022

FLDM 是第一个将现成的图像编辑方法融入视频 LDM 的视频编辑方法，通过在视频 LDM 中应用现成的图像编辑方法，FLDM 能够改善编辑视频的文字对齐和时间一致性。

Oct, 2023

MagicVideo 利用基于潜在扩散模型的高效文本生成视频框架生成与文本内容高度相关的逼真视频片段，并使用低维潜在空间在单个 GPU 卡上生成具有 256x256 空间分辨率的视频片段，可以在 64 倍于最近的视频扩散模型（VDM）的速度下生成。

Nov, 2022

该研究论文提出了 LaVie，一个整合的视频生成框架，通过利用预训练的文本到图像模型作为基础，以学习高质量的文本到视频生成模型。通过引入简单的时间自注意机制以及联合图像 - 视频微调的过程，LaVie 能够生成视觉逼真且时间连贯的视频，并保留预训练 T2I 模型的创造性。经广泛实验证明，LaVie 在性能上取得了最先进的表现，并可用于不同的长视频生成和个性化视频合成应用。

Sep, 2023

通过文本引导的潜在扩散框架，实现视频升尺度，并在保持时域一致性和质量平衡之间提供更大灵活性。

Dec, 2023

通过复用和扩散的框架 VidRD，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。

Sep, 2023

本论文提出了一种利用预训练视频扩散模型构建可扩展的 3D 生成模型的新范例。通过使用视频扩散模型作为 3D 数据的知识源，通过微调其多视图生成能力，生成一个大规模的合成多视图数据集，从而训练出一个前馈的 3D 生成模型。该模型在近 300 万个合成多视图数据上训练，能够在几秒钟内从单张图像生成一个 3D 资源，并在与当前最先进的前馈 3D 生成模型相比取得了更好的性能，用户 70％的时间更喜欢我们的结果。

Mar, 2024