UniCtrl：通过无需训练的统一注意力控制提升文本到视频扩散模型的时空一致性

Mar, 2024

UniCtrl：通过无需训练的统一注意力控制提升文本到视频扩散模型的时空一致性

UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control

PDF

Xuweiyi Chen, Tian Xia, Sihan Xu

TL;DR通过引入 UniCtrl 方法，我们解决了使用文本提示作为控制条件时保持一致性的挑战，提升了文本到视频模型生成的视频的时空一致性和运动多样性，实验证实了其效果和普适性。

Abstract

video diffusion models have been developed for video generation, usually integrating text and image conditioning to enhance control over the generated content. Despite the progress, ensuring consistency across frames remains a challenge, particularly when using text prompts as control

video diffusion models unictrl spatiotemporal consistency motion diversity text-to-video models

发现论文，激发创造

ControlVideo: 无需训练的可控文本到视频生成

ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

May, 2023

UniControl：一种用于自然环境中可控视觉生成的统一扩散模型

UniControl 是一种新的可控生成基础模型，集成了多种可控因素，实现了基于任意语言提示的像素级精确图像生成，并通过多任务学习，使其具有适应不同可控条件的能力，实验证明其性能优于其他同类型模型。

May, 2023

Uni-ControlNet: 文本到图像扩散模型全控制

本文介绍了 Uni-ControlNet 的新方法，该方法利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。

May, 2023

ControlVideo：为一键式文本到视频编辑增加有条件的控制

本文提出了 ControlVideo，一种基于文本指导的视频编辑方法，通过结合文本到图像扩散模型和 ControlNet，优化视频的保真度和时间一致性以与给定文本对齐，并使用复杂设计策略在源视频的关键帧和时间注意力上进行微调，量化结果证明了 ControlVideo 相比其他竞争算法具有更高的保真度和一致性。

May, 2023

使用图像扩散模型编辑具有时间一致性的视频

通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

Aug, 2023

基于扩散模型的可控文本到视频生成

本文提出了一种可控的文本到视频模型，名为 Video-ControlNet，它可以生成由控制信号（如边缘或深度图）条件的视频。该模型采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。

May, 2023

UniEdit: 视频运动与外观编辑的统一无调节框架

UniEdit 是一个无需调整参数的框架，它利用预先训练的文本到视频生成器，通过反演和生成的方式来支持视频运动和外观编辑。通过引入辅助运动参考和重建分支，利用时间和空间自注意层来实现运动编辑并保留源视频内容，UniEdit 在视频运动编辑和各种外观编辑场景上优于现有的方法。

Feb, 2024

CoCoCo：改进文本引导的视频修复以提升一致性、可控性和兼容性

本文提出了一种新颖的文本导向的视频修复模型，实现了更好的一致性、可控性和兼容性。实验表明，该模型能够生成高质量的视频片段，并展示了更好的动作连贯性、文本可控性和模型兼容性。

Mar, 2024

广角、3D 场景和视频的统一编辑通过解耦的自注意注入

通过利用基本的二维图像文本到图像扩散模型，我们提出了一种新颖的统一编辑框架，结合了单一图像注入自注意力的编辑和共享注意力的视频编辑的优势，通过共享自注意力特征在参考和连续图像采样过程中，设计了一种采样方法，以在保持语义一致性的同时实现连续图像的编辑。实验结果表明，我们的方法能够在多种模态包括 3D 场景、视频和全景图像中进行编辑。

May, 2024

Video ControlNet：条件图像扩散模型实现时域一致的虚拟到真实视频翻译

本研究提出了一种高效有效的方法，通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换，同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息，通过联合噪声优化有效地最小化了时空不一致性，实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性，并且我们的方法不需要对扩散模型进行任何培训或微调。最后，我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。

May, 2023