本文介绍了 Uni-ControlNet 的新方法，该方法利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。

May, 2023

该论文提出了一种基于测量学习的元学习方法：利用任务嵌入用于学习新的单个、多个实例任务，实现在真实世界中从单个演示中学习新任务的能力。

Oct, 2018

提出一种神经网络框架 ControlNet 来控制大型预训练扩散模型以支持额外的输入条件，该模型能够以端到端的方式学习任务特定条件，并且学习具有鲁棒性，即使训练数据集很小（<50k）；此外，训练 ControlNet 的速度与调整扩散模型的速度相同，模型可以在个人设备上训练。也可以在强大的计算集群上进行训练，适用于大量（数百万至数十亿）的数据；控制网络可以与大型扩散模型一起使用，以启用诸如边缘地图、分割地图、关键点等条件输入，进一步丰富了控制大型扩散模型的方法，促进了相关应用的发展。

Feb, 2023

图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

Dec, 2023

通过像素级别的循环一致性优化生成的图像与条件控制之间的一致性来提高图像的可控性。

Apr, 2024

通过修改跨注意力矩阵，在保持图像质量的同时改进控制能力，本研究以 ControlNet 为例，研究了几种现有的跨注意力控制方法的局限性，并提出了一种新的跨注意力操纵方法，通过定位描述来实现对生成图像的精细控制。

Feb, 2024

本文介绍了一种新的元学习方法 Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在 Omniglot 和 Mini-ImageNet 基准测试中，我们的 MetaNet 模型实现了接近人类水平的表现，并在准确性上优于基线方法高达 6％。我们展示了 MetaNet 的几个有吸引力的性质，如泛化和持续学习。

Mar, 2017

通过 Meta-Control，我们提出了第一个 LLM（Language and Vision Model）驱动的自动控制合成方法，该方法可以创建特定任务定制的状态表示和控制策略，解决了现实世界中多样且矛盾的机器人操作需求，为建立通用的机器人基础模型提供了思路。

May, 2024

本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

Dec, 2023

我们提供了一种双向集成的方法，将外部条件生成算法整合到一个密集预测方法中，并将其单独训练的图像生成过程合并到一个模型中。我们提出的 OmniControlNet 通过任务嵌入引导和文本嵌入引导，将条件生成和图像生成过程整合到一个模型中，从而显著降低了模型复杂性和冗余，并能够生成与条件文本到图像生成相媲美的图像。

Jun, 2024