利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

Oct, 2023

我们提出了一种对生成式视频扩散模型的训练无关的视频插值方法，通过将视频模型转换为自级联视频扩散模型并结合设计的隐藏状态校正模块，保持关键帧与插值帧之间的时间一致性。在多个受欢迎的视频模型上进行了广泛的评估，证明了该方法的有效性，特别是我们的训练无关方法甚至可以与由大量计算资源和大规模数据集支持的训练插值模型相媲美。

Jun, 2024

我们提出了一种基于预训练扩散模型的新推理技术，用于文本条件视频生成。我们的方法名为 FIFO-Diffusion，能够概念性地生成无需训练的无限长视频。通过迭代地进行对角去噪处理，我们同时处理一个队列中噪声逐渐增加的一系列连续帧；我们的方法在队列头部出队完全去噪的帧，并在队列尾部入队一个新的随机噪声帧。但是，对角去噪处理是一把双刃剑，因为靠近尾部的帧可以通过向前引用来利用更干净的帧，但这种策略会引起训练和推理之间的差异。因此，我们引入了潜在分区来减小训练和推理之间的差距，并引入了前瞻去噪来利用向前引用的好处。我们已经在现有的文本到视频生成基准上展示了该方法的有希望的结果和有效性。

May, 2024

通过利用空间感知的初始化噪声，我们提出了一种自定义空间感知初始化噪声的开放词汇框架，以有效提高布局引导的效果。

Jan, 2024

通过频率截断的方法，我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导，从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果，突显了它在图像编辑应用中的多功能潜力。

Apr, 2024

本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

Apr, 2022

本研究介绍了扩散模型在文本生成任务中的应用，并提出了两种桥接训练和推理之间差异的方法，分别为 “距离惩罚” 和 “自适应衰减采样”，实验证明这两种方法能够在保证性能的情况下加速 100 倍至 200 倍。

May, 2023

我们提出了一个无需训练的通用视频合成框架，命名为 BIVDiff，通过将特定的图像扩散模型与通用文本到视频基础扩散模型相结合，既实现了强大的任务泛化能力，又具有高效性。

Dec, 2023

基于预训练图像扩散模型，提出了用于零样本视频修复和增强的第一种框架，通过在图像扩散模型中使用交叉前一帧注意力层来利用相邻帧之间的时间相关性，进一步提出了时间一致性引导，空间 - 时间噪声共享和早停止采样策略，以实现更好的时间一致性采样，实验结果表明，我们提出的方法在生成具有更好保真度的时间一致视频方面具有优越性。

Jul, 2024

本研究旨在解决生成图像与提供的提示之间的无缝对齐问题，通过引入 “初始噪声优化”（InitNO）方法，通过评估初始噪声，并通过噪声优化来生成符合文本提示的图像。

Apr, 2024