使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

Jun, 2024

通过引入时态依赖于现有的文本驱动扩散模型，使其能够生成一致的编辑对象外观，我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制，利用分层表示的概念将相邻帧的外观信息传播到下一帧，并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架，可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比，我们方法展示了卓越的定性和定量结果。

Aug, 2023

通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

May, 2024

通过提出一种一次性视频运动编辑方法（Edit-Your-Motion），利用详细提示引导学习策略（DPL）对时空扩散模型进行空间 - 时间特征解耦，从而实现对视频对象内容和运动的编辑。该方法比其他方法表现更好，能够生成更加激动人心和多样化的视频。

May, 2024

本研究聚焦于提高物体图像生成的关键点到图像解码，为了达到高质量的视觉生成，提出了一种基于对象中心潜在扩散模型 SlotDiffusion，该模型在六个数据集上表现优异，并可用于现有的用于视频预测质量和下游时间推理任务的对象中心动力学模型，同时还展示了该模型和自监督预训练图像编码器在非约束性现实数据集上的可扩展性。

May, 2023

该研究提出了一种基于视频扩散模型的图像和视频编辑方法，利用时序信息和高分辨率信息生成与指导文本匹配的视频，并以完全时间关注和时间关注掩码联合完成模型的微调，实现了较好的编辑效果。

Feb, 2023

基于扩散模型的视频多目标合成方法通过图像编辑和视频生成模型在保持物体运动和身份连贯性的同时引入物体之间的相互作用效果，从而实现了视频合成的物理和谐。

Jun, 2024

我们提出了一种名为在线视频编辑的新任务，旨在在保持时间一致性的同时编辑流式帧。我们提出了 Streaming Video Diffusion（SVDiff）来解决此问题，它将紧凑的空间感知时间回归与现成的稳定扩散相结合，并采用分段级方案在大规模长视频上进行训练。通过这种简单而有效的设置，我们可以获得一个能够执行各种视频并具有时序连续性的单一模型。我们的实验表明，我们的模型能够以 512x512 的分辨率实现 15.2 FPS 的实时推理速度，对于长时间、高质量的视频编辑表现出色。

May, 2024

通过引入基于对象的框架，我们的研究工作在图像驱动的视频编辑任务中表现出与最先进方法相似的性能，并展示了新的形状编辑能力。

Jan, 2024

提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

Nov, 2023