本文介绍了 Uni-ControlNet 的新方法，该方法利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。

May, 2023

提出一种神经网络框架 ControlNet 来控制大型预训练扩散模型以支持额外的输入条件，该模型能够以端到端的方式学习任务特定条件，并且学习具有鲁棒性，即使训练数据集很小（<50k）；此外，训练 ControlNet 的速度与调整扩散模型的速度相同，模型可以在个人设备上训练。也可以在强大的计算集群上进行训练，适用于大量（数百万至数十亿）的数据；控制网络可以与大型扩散模型一起使用，以启用诸如边缘地图、分割地图、关键点等条件输入，进一步丰富了控制大型扩散模型的方法，促进了相关应用的发展。

Feb, 2023

通过引入高效有效的 Face-Adapter，我们旨在解决资源密集型的训练问题，从而实现预训练扩散模型的高精度和高保真度的人脸编辑，该模型在运动控制精度、ID 保留能力和生成质量方面具有可比甚至优越的表现。

May, 2024

通过使用 X-Adapter，我们成功实现了升级后的文本到图像扩散模型（如 SDXL）与预训练的即插即用模块（如 ControlNet、LoRA）直接配合工作，无需进一步的重新训练。我们通过训练额外的网络来控制冻结的升级模型，使用新的文本 - 图像数据对进行指导，同时保留不同版本插件的连接器，并通过可训练的映射层将不同版本模型的解码器连接起来进行特征映射。X-Adapter 通过使用空文本训练策略和两阶段去噪策略提高了其指导能力，并在实验证明其与各种插件具有通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们通过广泛的实验验证了所提出方法的有效性，结果表明 X-Adapter 在升级的基础扩散模型中可能有更广泛的应用。

Dec, 2023

图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

Dec, 2023

通过使用具有控制网络的扩散模型，在给定提示和输入视频的条件下，我们提出了一种新的运动引导视频到视频转换框架 VideoControlNet，以生成各种视频。通过使用运动信息来防止冗余区域的再生成以保持内容一致性。

Jul, 2023

本文提出了一种可控的文本到视频模型，名为 Video-ControlNet，它可以生成由控制信号（如边缘或深度图）条件的视频。该模型采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。

May, 2023

介绍了一种新的元控网络方法，它采用了任务不可知的元学习技术和新的层冻结设计，大大缩短了学习步骤，并在边缘任务中实现了零 - shot 适应性，在更复杂的非边缘任务中，如人体姿势，仅需 100 个微调步骤就能实现控制，优于现有方法。

Dec, 2023

通过使用 SparseCtrl，可以通过处理时间稀疏的信号实现灵活的结构控制，且不需要改变预训练的 T2V 模型，从而提供更实用的视频生成控制方法。

Nov, 2023

FreeControl 是一种无需训练的可控文本生成方法，支持多种条件、架构和检查点，并在定性和定量实验中展现了卓越性能。

Dec, 2023