Dec, 2023

RealCraft：关注控制：零样本长视频编辑的解决方案

PDF
TL;DR在这篇论文中，我们提出了一种基于注意力控制的方法，名为 RealCraft，用于零样本编辑实际视频。通过在提示和帧之间进行对象为中心的处理，并在帧内使用时空注意力，我们实现了精确的形状编辑以及增强的一致性。我们的模型可以直接与稳定的扩散一起使用，并且不需要额外的局部信息。我们展示了我们的零样本注意控制方法在各种长度的视频中进行定位、高保真度、形状精确和时间一致的编辑。
text-to-image generative modelsimage editingvideo editingattention-control-based methodzero-shot editing
发现论文，激发创造
  • 剪切和拼贴：主题驱动的视频编辑与注意力控制

    本文提出了一种名为剪贴的创新框架，用于根据文本提示和额外参考图像进行现实语义视频编辑。

    Nov, 2023

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • 研究跨注意力对解锁零 - shot 编辑的文本到视频扩散模型的效果

    最新的图像和视频扩散模型在内容创作方面取得了显著进展，为定制生成内容提供了大量技术。本文首次研究了跨注意力在零样本视频编辑中的作用，展示了在 T2V 模型中实现对物体形状、位置和运动的控制的潜力。

    Apr, 2024

  • LOVECon：基于文本的无需训练的长视频编辑与 ControlNet 控制

    本研究旨在建立一个简单而有效的基于训练无关扩散模型的长视频编辑基线，通过分割长视频并采用新颖的跨窗口注意机制，以确保全局风格的一致性和窗口之间的平滑性。通过 DDIM 反演从源视频中提取信息，并将结果整合到生成的潜在状态中，同时结合视频帧插值模型以减轻帧级闪烁问题。经过广泛的实证研究，验证了我们的方法在替换前景物体属性、风格转移和背景替换等场景下相对竞争基准的卓越有效性。

    Oct, 2023

  • ControlVideo: 无需训练的可控文本到视频生成

    ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

    May, 2023

  • VidEdit：零样本和空间感知的文本驱动视频编辑

    本研究介绍了一种名为 VidEdit 的零镜头文本视频编辑方法，利用扩散模型结合语义分割器和边缘检测器实现了强的时间和空间上的一致性，证明在 DAVIS 数据集上，VidEdit 在语义保真度、图像保存和时间一致性方面优于现有的方法，同时仅需大约一分钟即可处理一个视频。

    Jun, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • ControlVideo：为一键式文本到视频编辑增加有条件的控制

    本文提出了 ControlVideo，一种基于文本指导的视频编辑方法，通过结合文本到图像扩散模型和 ControlNet，优化视频的保真度和时间一致性以与给定文本对齐，并使用复杂设计策略在源视频的关键帧和时间注意力上进行微调，量化结果证明了 ControlVideo 相比其他竞争算法具有更高的保真度和一致性。

    May, 2023

  • 通过文本图像传播模型进行零样本视频编辑

    一种名为 Ground-A-Video 的新型基于 groundings 的多属性视频编辑框架，通过引入跨帧门控注意力、调制交叉注意力和光流引导反转隐藏特征平滑，实现了无需训练的时间一致的多属性视频编辑，并在编辑准确度和帧一致性方面表现优于其他基准方法。

    Oct, 2023

  • InFusion：用于多概念零样本文本视频编辑的注入和注意力融合

    使用 InFusion 框架，基于大型预训练图像扩散模型进行零样例基于文本的视频编辑，以实现丰富的概念编辑、时间一致性和连贯性。

    Jul, 2023