本文介绍了一种名为 Neutral Editing（NeuEdit）框架的概念，通过改变视频中人物 / 物体的动作，实现了复杂的非刚性编辑。该框架通过利用输入的视频和文本，没有其他辅助工具（如视觉蒙版、视频字幕），以模型无关的方式增强了基于扩散编辑系统的调整编辑过程。对大量视频进行了广泛实验，证明了 NeuEdit 框架的适应性和有效性。

Dec, 2023

通过引入 UniCtrl 方法，我们解决了使用文本提示作为控制条件时保持一致性的挑战，提升了文本到视频模型生成的视频的时空一致性和运动多样性，实验证实了其效果和普适性。

Mar, 2024

UniTune 是一种简单而新颖的文本驱动图像编辑方法，它使用文本作为直观的艺术指导界面并且无需其他输入。该方法的核心在于观察到，通过选择合适的参数，我们可以在单个图像上对大型文本到图像扩散模型进行微调，从而鼓励模型保持对输入图像的忠实性，同时允许表达性的操作。该文献中，作者使用 Imagen 作为他们的文本到图像模型，并证明了 UniTune 方法的广泛适用性。

Oct, 2022

通过利用基本的二维图像文本到图像扩散模型，我们提出了一种新颖的统一编辑框架，结合了单一图像注入自注意力的编辑和共享注意力的视频编辑的优势，通过共享自注意力特征在参考和连续图像采样过程中，设计了一种采样方法，以在保持语义一致性的同时实现连续图像的编辑。实验结果表明，我们的方法能够在多种模态包括 3D 场景、视频和全景图像中进行编辑。

May, 2024

MagicEdit 是一种非常简单但非常有效的解决文本指导下的视频编辑任务的方法，通过在训练过程中明确分离内容、结构和动作信号的学习，可以实现高保真度和时间连贯性的视频到视频的转换。这与大多数现有方法试图在单个框架内同时建模外观和时间表示相矛盾，我们认为这会导致每帧质量下降。尽管简单，但我们展示了 MagicEdit 支持各种下游视频编辑任务，包括视频风格化、局部编辑、视频混合和视频外涂。

Aug, 2023

通过提出一种一次性视频运动编辑方法（Edit-Your-Motion），利用详细提示引导学习策略（DPL）对时空扩散模型进行空间 - 时间特征解耦，从而实现对视频对象内容和运动的编辑。该方法比其他方法表现更好，能够生成更加激动人心和多样化的视频。

May, 2024

本研究介绍了一种名为 VidEdit 的零镜头文本视频编辑方法，利用扩散模型结合语义分割器和边缘检测器实现了强的时间和空间上的一致性，证明在 DAVIS 数据集上，VidEdit 在语义保真度、图像保存和时间一致性方面优于现有的方法，同时仅需大约一分钟即可处理一个视频。

Jun, 2023

通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

Jun, 2024

通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

Aug, 2023

通过引入自适应的运动引导的跨帧注意机制，本文提出了一种显著降低计算复杂性的方法，同时保留语义细节和时间一致性，并通过 KV 缓存共享提高了中间帧质量和时间一致性，大大增加了联合编辑的关键帧数量，不受视觉质量和时间一致性的影响。

Jun, 2024