通过深度图和时序一致性约束，提出了一种强大且高效的零样本视频编辑方法 EVE，能够以可承受的计算和时间成本派生出令人满意的视频编辑结果，并构建了新的基准 ZVE-50 数据集以促进未来研究。

Aug, 2023

本文提出了一种使用全局注意机制的时间变换器，以更好地利用每个帧的显着信息来显著减少推理时间和数据帧，从而提高输入效率，在 Kinetics 数据集上实现了 SotA 结果。

Mar, 2021

本研究提出了一种新颖的方法，用于在视频生成中进行运动定制，解决了视频生成模型中对运动表示的彻底探索的普遍差距。我们介绍了 Motion Embeddings，这是从给定视频中衍生出的一组明确、时间连贯的一维嵌入，旨在与视频扩散模型的时间转换模块无缝集成，通过调节帧间的自注意力计算而不损失空间完整性。我们的方法提供了一种简洁高效的运动表示解决方案，并通过在嵌入空间中进行向量运算，实现了对运动特征的复杂操作定制。此外，我们还发现了视频生成模型中的时间差异，指的是不同运动模块处理帧间时间关系的变化。我们利用这种理解来优化我们的运动嵌入集成。我们的贡献包括为定制任务引入定制运动嵌入、揭示视频模型中的时间处理差异以及通过大量实验证明我们方法的实际优势和有效性。

Mar, 2024

一种名为 Ground-A-Video 的新型基于 groundings 的多属性视频编辑框架，通过引入跨帧门控注意力、调制交叉注意力和光流引导反转隐藏特征平滑，实现了无需训练的时间一致的多属性视频编辑，并在编辑准确度和帧一致性方面表现优于其他基准方法。

Oct, 2023

本文介绍一种名为 Video Deep InfoMax (VDIM) 的自监督学习方法，将原 DeepInfoMax 扩展至视频领域，其利用内部结构构建视图，并利用这些视图进行预测任务，从而实现对 UCF-101 数据集的行为识别任务的 SoTA 预测结果。

Jul, 2020

这篇研究论文讨论了长期视频理解的问题，提出了一种基于低秩逼近的方案来解决注意力机制的复杂性和内存存储问题，并通过大量实验验证了该方案在不同架构和任务上的优越性。

Jun, 2024

本研究介绍了一种名为 VidEdit 的零镜头文本视频编辑方法，利用扩散模型结合语义分割器和边缘检测器实现了强的时间和空间上的一致性，证明在 DAVIS 数据集上，VidEdit 在语义保真度、图像保存和时间一致性方面优于现有的方法，同时仅需大约一分钟即可处理一个视频。

Jun, 2023

基于文本驱动的扩散视频编辑通过得分蒸馏采样来解决现实世界中的运动问题，同时匹配原始视频和编辑视频的时空自相似性，以改变外观同时准确保留原始结构和运动。

Mar, 2024

本论文分析了导致视频模型性能下降的因素 —— 语言监督失真，提出了一种去除降级的预训练策略，并采用排序任务同时使用掩蔽技术进行可扩展的训练，得到了一系列新的模型。

May, 2023

借鉴一致性模型 (CM) 的自洽性特性，我们提出了一种高效的零样本视频编辑方法 FastVideoEdit，能够减少编辑时间并提高编辑速度，同时保持可比较的生成质量。

Mar, 2024