通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

May, 2024

本研究介绍了一种名为 VidEdit 的零镜头文本视频编辑方法，利用扩散模型结合语义分割器和边缘检测器实现了强的时间和空间上的一致性，证明在 DAVIS 数据集上，VidEdit 在语义保真度、图像保存和时间一致性方面优于现有的方法，同时仅需大约一分钟即可处理一个视频。

Jun, 2023

为了生成用户定制的视觉内容，本文提出了一种时空引导自适应编辑算法 AdapEdit，通过引入软注意力策略从时空角度动态变化编辑条件对视觉像素的引导程度，成功实现了自适应图像编辑，并在各种原始图像和编辑指令上展示了竞争性能并显著超越了以前的方法。

Dec, 2023

通过引入自适应的运动引导的跨帧注意机制，本文提出了一种显著降低计算复杂性的方法，同时保留语义细节和时间一致性，并通过 KV 缓存共享提高了中间帧质量和时间一致性，大大增加了联合编辑的关键帧数量，不受视觉质量和时间一致性的影响。

Jun, 2024

该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

Apr, 2020

通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

Aug, 2023

使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

Jun, 2024

本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

Jan, 2023

本文介绍了一种名为 NVEdit 的新型文本驱动视频编辑框架，通过构建神经视频场、采用渐进优化策略以及替换可适应的神经视频场和文本到图像模型，解决了实际场景中长视频编辑中的图形内存需求快速增长和编辑的帧间不一致性等挑战，实现了对具有显著帧间一致性的长视频的成功编辑。

Dec, 2023

该论文提出了一种无监督在线适应方法，名为 AuxAdapt，用于提高神经网络模型的时域一致性，通过利用一个辅助分割网络（AuxNet）对原始的分割网络（Main-Net）的决策进行针对性的修改，实现对视频序列的快速、准确、稳定的训练。

Oct, 2021