ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构

Dec, 2023

ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构

ControlNet-XS: Designing an Efficient and Effective Architecture for Controlling Text-to-Image Diffusion Models

Denis Zavadski, Johann-Friedrich Feiden, Carsten Rother

TL;DR图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

Abstract

The field of image synthesis has made tremendous strides forward in the last years. Besides defining the desired output image with text-prompts, an intuitive approach is to additionally use spatial guidance in form of an image, such as a depth map. For this, a recent and highly popular

image synthesis controlling network control architecture generative capabilities parameter efficiency

发现论文，激发创造

为文本 - 图像扩散模型添加条件控制

提出一种神经网络框架 ControlNet 来控制大型预训练扩散模型以支持额外的输入条件，该模型能够以端到端的方式学习任务特定条件，并且学习具有鲁棒性，即使训练数据集很小（<50k）；此外，训练 ControlNet 的速度与调整扩散模型的速度相同，模型可以在个人设备上训练。也可以在强大的计算集群上进行训练，适用于大量（数百万至数十亿）的数据；控制网络可以与大型扩散模型一起使用，以启用诸如边缘地图、分割地图、关键点等条件输入，进一步丰富了控制大型扩散模型的方法，促进了相关应用的发展。

Feb, 2023

Uni-ControlNet: 文本到图像扩散模型全控制

本文介绍了 Uni-ControlNet 的新方法，该方法利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。

May, 2023

Ctrl-X: 无需指导的文本到图像生成中的结构和外观控制

Ctrl-X 是一个简单的 T2I 扩散（diffusion）控制结构和外观的框架，通过设计前馈结构控制以实现结构与结构图像的对齐以及语义感知外观转换，从而实现了对任意条件图像的全新结构和外观控制，展现了超过现有作品的图像质量和外观转换，并为任何 T2I 和 T2V 扩散模型提供即插即用的功能。

Jun, 2024

FreeControl：无需训练的任意文本到图像扩散模型的空间控制与任意条件

FreeControl 是一种无需训练的可控文本生成方法，支持多种条件、架构和检查点，并在定性和定量实验中展现了卓越性能。

Dec, 2023

基于扩散模型的可控文本到视频生成

本文提出了一种可控的文本到视频模型，名为 Video-ControlNet，它可以生成由控制信号（如边缘或深度图）条件的视频。该模型采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。

May, 2023

基于稳定扩散模型的立面设计建模方法：从文本语义到图像生成

通过 LoRA 对 CMP Facedes 数据集上的 Stable Diffusion 进行优化，然后应用 ControlNet 模型进一步控制输出，通过对各种建筑风格文本内容和控制策略下的结果进行比较，实验证明 LoRA 训练方法显著降低了对 Stable Diffusion 大模型的微调可能性，ControlNet 模型的添加增强了基于文本生成建筑立面图像的可控性。

Feb, 2023

使用 ControlNet 和交叉注意控制实现基于局部描述的布局到图像生成

通过修改跨注意力矩阵，在保持图像质量的同时改进控制能力，本研究以 ControlNet 为例，研究了几种现有的跨注意力控制方法的局限性，并提出了一种新的跨注意力操纵方法，通过定位描述来实现对生成图像的精细控制。

Feb, 2024

便携式操控：文图生成中多功能文字操控艺术作品创作

我们提出了 AnyControl，这是一个支持多种不同控制信号任意组合的多控制图像合成框架，它使用了多模态的嵌入来引导生成过程，实现了对用户输入的整体理解，并通过广泛的定量和定性评估展示了高质量、忠实的生成结果。

Jun, 2024

本地条件控制文本到图像扩散模型

本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

Dec, 2023

ControlNet++：通过高效一致性反馈改进条件控制

通过像素级别的循环一致性优化生成的图像与条件控制之间的一致性来提高图像的可控性。

Apr, 2024