利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

Oct, 2023

我们提出了一种对生成式视频扩散模型的训练无关的视频插值方法，通过将视频模型转换为自级联视频扩散模型并结合设计的隐藏状态校正模块，保持关键帧与插值帧之间的时间一致性。在多个受欢迎的视频模型上进行了广泛的评估，证明了该方法的有效性，特别是我们的训练无关方法甚至可以与由大量计算资源和大规模数据集支持的训练插值模型相媲美。

Jun, 2024

基于给定提示生成视频的文本到视频生成旨在生成可信的视频。最近，一些商业视频模型能够生成具有最小噪声、出色细节和高美观分数的视频。然而，这些模型依赖于大规模、经过良好过滤、高质量的视频，而这对社区来说是不可获得的。许多现有的研究工作使用低质量的 WebVid-10M 数据集来训练模型，由于模型的优化是为了适应 WebVid-10M，因此很难生成高质量的视频。在这项工作中，我们探索了从稳定扩散中延伸的视频模型的训练方案，并研究了利用低质量视频和合成高质量图像获取高质量视频模型的可行性。我们首先分析视频模型的空间和时域模块与低质量视频的分布偏移之间的关联。我们观察到，与仅训练时域模块相比，所有模块的完整训练会导致空间和时域模块之间更强的耦合。基于这种更强的耦合，我们通过使用高质量图像微调空间模块来将分布向更高质量转移，而不会导致运动退化，从而获得通用的高质量视频模型。评估工作说明了所提方法的优越性，特别是在图片质量、动作和概念组合方面。

Jan, 2024

提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

Nov, 2023

本研究提出了一种高效有效的方法，通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换，同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息，通过联合噪声优化有效地最小化了时空不一致性，实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性，并且我们的方法不需要对扩散模型进行任何培训或微调。 最后，我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。

May, 2023

我们提出了一个无需调整的框架来实现轨迹可控的视频生成，通过对噪声构建和注意力计算施加引导，扩展了传播模型的轨迹可控性。

Jun, 2024

我们提出了一种名为 ExVideo 的新型视频合成模型后调优方法，该方法可以增强当前视频合成模型的能力，使其在更长的时间范围内生成内容，并降低培训成本。

Jun, 2024

提出了一种用于图像到视频生成的方法，通过添加更多精确的图像信息和噪声修正，提高生成视频的保真度。

Mar, 2024

本文提出一种简单而通用的学习方案，可针对任何给定步骤逐步调整噪声参数，从而显著提高类比扩散模型的综合结果。

Apr, 2021

通过对预训练的视频扩散模型进行对抗训练，我们提出了一种新颖的方法，通过单步合成高质量视频来获得单步视频生成模型，捕捉视频数据中的时间和空间依赖关系，从而大大减少计算成本，为实时视频合成和编辑铺平了道路。

Jun, 2024