Mar, 2024

控制网络结合隐式掩码：以控制网络在轮廓跟踪能力方面的案例研究

PDF
TL;DR通过分析无明确掩码的不同退化级别的影响，本文提出一种先进的形状感知控制网络，包含了退化评估器和形状先验调制块，用于提高无明确掩码的可控性，并通过自适应地调节模型的轮廓跟踪能力来消除噪音，使 ControlNet 能够稳健地解释不准确的空间条件。
controlnetinexplicit masksdeterioration estimatorshape-prior modulationcontour-following ability
发现论文，激发创造
  • ControlNet++：通过高效一致性反馈改进条件控制

    通过像素级别的循环一致性优化生成的图像与条件控制之间的一致性来提高图像的可控性。

    Apr, 2024

  • Mask-ControlNet：使用额外掩码提示的高品质图像生成

    通过引入额外的掩码提示 Mask-ControlNet，本研究在文本到图像生成方面取得了较好的性能，改善了前景与背景之间复杂关系的准确性，提升了生成图像的质量。

    Apr, 2024

  • 元控制网络：通过元学习增强任务适应性

    介绍了一种新的元控网络方法，它采用了任务不可知的元学习技术和新的层冻结设计，大大缩短了学习步骤，并在边缘任务中实现了零 - shot 适应性，在更复杂的非边缘任务中，如人体姿势，仅需 100 个微调步骤就能实现控制，优于现有方法。

    Dec, 2023

  • ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构

    图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

    Dec, 2023

  • LooseControl: 广义深度条件下的 Lifting ControlNet

    我们提出了 LooseControl，用于实现基于扩散的图像生成的广义深度条件控制。LooseControl 通过场景边界控制和 3D 盒子编辑，使用户能够通过指定场景边界和目标对象位置来创建复杂环境，并提供了两种编辑机制，使结果得以精细调整。

    Dec, 2023

  • SmartMask：面向细粒度物体插入和布局控制的上下文感知高保真蒙版生成

    通过 SmartMask 和 ControlNet-Inpaint 模型，本文介绍了一种能够实现优秀的目标插入效果并更有效地保护背景内容的方法，此方法不仅可以在用户创建详细掩码的情况下运行，还可以在无掩码条件下进行多样位置和比例的目标插入，并且还可以与基于指导的规划模型协同工作从头设计布局，相比于基于用户草图的布局设计方法，SmartMask 产生更高质量的布局图像。

    Dec, 2023

  • 使用 ControlNet 和交叉注意控制实现基于局部描述的布局到图像生成

    通过修改跨注意力矩阵，在保持图像质量的同时改进控制能力，本研究以 ControlNet 为例，研究了几种现有的跨注意力控制方法的局限性，并提出了一种新的跨注意力操纵方法，通过定位描述来实现对生成图像的精细控制。

    Feb, 2024

  • 通过无需训练的掩码引导扩散增强提示跟随的视觉控制

    本文提出了一种名为 Mask-guided Prompt Following (MGPF) 的无需训练的方法，通过引入物体掩码来区分对齐和未对齐的视觉控制和提示的部分，并设计了一个名为 Masked ControlNet 的网络，用于在未对齐的视觉控制区域生成对象。通过全面的定量和定性实验证明了 MGPF 的有效性和优越性。

    Apr, 2024

  • SmartControl：增强控制网络以处理复杂视觉环境

    通过设计一种名为 SmartControl 的新型 T2I 生成方法，我们解决了现有 T2I 生成模型中存在的问题，该方法通过放松与文本提示冲突的区域的视觉条件，从而调整图像的粗略视觉条件，使之与文本提示相适应，并在四种典型的视觉条件类型上充分验证了我们的 SmartControl 的有效性。

    Apr, 2024

  • 本地条件控制文本到图像扩散模型

    本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

    Dec, 2023