该论文提出了一种基于2D图集的视频编辑方法，该方法可以将输入视频分解为一组2D图集表示，以提供视频中对象（或背景）的外貌的整合表现，并自动地映射回原始视频帧，从而可以处理复杂的动态真实世界视频。

Sep, 2021

本文介绍了一种基于预训练模型和条件式3D U-Net结构的、可以通过自然语言指令编辑视频的方法，同时提出了一种新的视帧差异损失函数，可以在训练过程中提高生成视频的时序一致性，实验表明该方法生成的视频质量高、时序连贯，能够进行多种视频编辑操作。

May, 2023

使用InFusion框架，基于大型预训练图像扩散模型进行零样例基于文本的视频编辑，以实现丰富的概念编辑、时间一致性和连贯性。

Jul, 2023

我们提出了一种视频分解方法，可以对具有时空变化照明和运动效果的视频进行基于层次的编辑。我们的神经模型将输入视频分解为多个分层表示，其中包括2D纹理贴图、原始视频的掩码以及表征光照条件时空变化的乘法残差。通过对纹理贴图进行单个编辑，可以在整个视频帧的对应位置传播并保持其他内容的一致性。通过坐标哈希，我们的方法可以以每帧25秒的速度高效学习1080p视频的基于层次的神经表示，并在单个GPU上以71帧每秒的速度实时渲染编辑结果。在定性方面，我们运行该方法在各种视频上展示其生成高质量编辑效果的有效性。在定量方面，我们提出采用特征跟踪评估指标来客观评估视频编辑的一致性。

Sep, 2023

引入动态神经辐射场（NeRF）作为人物中心视频表示，将视频编辑问题简化为三维空间编辑任务，通过变形场在整个视频上进行编辑。

Oct, 2023

在这篇论文中，我们提出了一种基于注意力控制的方法，名为RealCraft，用于零样本编辑实际视频。通过在提示和帧之间进行对象为中心的处理，并在帧内使用时空注意力，我们实现了精确的形状编辑以及增强的一致性。我们的模型可以直接与稳定的扩散一起使用，并且不需要额外的局部信息。我们展示了我们的零样本注意控制方法在各种长度的视频中进行定位、高保真度、形状精确和时间一致的编辑。

Dec, 2023

通过自然语言和草图等多模式表达，提出了一种支持视频编辑的系统ExpressEdit，该系统通过解释自然语言命令和草图实现解释性编辑，增强了初学者视频编辑者表达和实现编辑理念的能力，为未来多模态界面和基于人工智能的视频编辑管道的设计提供了洞见。

Mar, 2024

InstaDrag是一个快速方法，通过将拖拽编辑重新定义为条件生成任务，以及在训练时使用视频帧作为数据源，可以在大约1秒内实现高质量的拖拽式图像编辑。

May, 2024

通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

May, 2024

通过使用现成的文本到图像潜在扩散模型，我们引入了InVi方法，用于在视频中插入或替换对象（称为补全），目标是控制性地操作对象并将其与背景视频无缝融合，我们采用了两个关键挑战的方法：利用补全和匹配来获得高质量的控制和融合；为了确保时序一致性，我们将扩散模型的自注意层替换为扩展注意层。实验证明，InVi方法在实现逼真的对象插入以及帧之间的一致融合和时序一致性方面优于现有方法。

Jul, 2024