Oct, 2023

FLATTEN: 光流引导的注意力技术用于一致的文本 - 视频编辑

PDF
TL;DRFLATTEN 是一种用于文本到视频编辑的训练无关方法，通过在扩散模型的 U-Net 中引入光流来提高编辑视频的视觉一致性，并且能够无缝集成到任何基于扩散的文本到视频编辑方法中，提高其视觉一致性。
text-to-video editingvisual consistencyspatio-temporal attentionoptical flowflatten
发现论文，激发创造
  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • InFusion：用于多概念零样本文本视频编辑的注入和注意力融合

    使用 InFusion 框架，基于大型预训练图像扩散模型进行零样例基于文本的视频编辑，以实现丰富的概念编辑、时间一致性和连贯性。

    Jul, 2023

  • TokenFlow：一致扩散特征用于一致视频编辑

    基于文本驱动的视频编辑，我们介绍了一个利用文本到图像扩散模型的框架，生成高质量视频的同时保留输入视频的空间布局和运动，实现编辑视频的一致性。

    Jul, 2023

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • 广角、3D 场景和视频的统一编辑通过解耦的自注意注入

    通过利用基本的二维图像文本到图像扩散模型，我们提出了一种新颖的统一编辑框架，结合了单一图像注入自注意力的编辑和共享注意力的视频编辑的优势，通过共享自注意力特征在参考和连续图像采样过程中，设计了一种采样方法，以在保持语义一致性的同时实现连续图像的编辑。实验结果表明，我们的方法能够在多种模态包括 3D 场景、视频和全景图像中进行编辑。

    May, 2024

  • 利用文图扩散模型实现一致的视频编辑

    本文提出了 EI ^ 2 模型，主要解决 Text-to-Image 的视频编辑中存在的文本指示不一致和时间序列问题，通过引入 Shift-restricted Temporal Attention Module (STAM) 和 Fine-coarse Frame Attention Module (FFAM) 解决协变量漂移问题以及合理利用局部和全局信息，提高编辑的一致性。

    May, 2023

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • StableVideo: 基于文本的一致性感知扩散视频编辑

    通过引入时态依赖于现有的文本驱动扩散模型，使其能够生成一致的编辑对象外观，我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制，利用分层表示的概念将相邻帧的外观信息传播到下一帧，并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架，可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比，我们方法展示了卓越的定性和定量结果。

    Aug, 2023

  • 使用光流估计合成逼真的场景文本视频

    本文介绍了一种名为 FlowText 的视频文字合成技术，通过利用光流估计，在低成本的情况下合成大量的文本视频数据，用于训练强健的视频文字定位器。实验证明，将 TransDETR 等通用检测器与 FlowText 结合使用，可以在 ICDAR2015video 和 ICDAR2013video 等不同数据集上获得显著的结果。

    May, 2023

  • GAFlow：将高斯注意力融入光流

    本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

    Sep, 2023