Apr, 2024

Mask-ControlNet：使用额外掩码提示的高品质图像生成

PDF
TL;DR通过引入额外的掩码提示 Mask-ControlNet，本研究在文本到图像生成方面取得了较好的性能，改善了前景与背景之间复杂关系的准确性，提升了生成图像的质量。
text-to-image generationdiffusion modelsmask-controlnetmask promptsimage quality
发现论文，激发创造
  • 通过无需训练的掩码引导扩散增强提示跟随的视觉控制

    本文提出了一种名为 Mask-guided Prompt Following (MGPF) 的无需训练的方法，通过引入物体掩码来区分对齐和未对齐的视觉控制和提示的部分，并设计了一个名为 Masked ControlNet 的网络，用于在未对齐的视觉控制区域生成对象。通过全面的定量和定性实验证明了 MGPF 的有效性和优越性。

    Apr, 2024

  • 针对空间控制文本到图像生成的遮蔽注意力扩散引导

    用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

    Aug, 2023

  • MaskDiffusion：使用条件掩蔽提升文本与图像的一致性

    优化了扩散模型中文本和图像的一致性，通过引入自适应掩码调整文本令牌对图像特征的贡献，提高了合成图像的质量。

    Sep, 2023

  • 扩散模型的注意力映射控制组合式文本到图像合成

    本文提出了一种基于预测的物体框的注意力掩码控制策略，以解决文本到图像合成模型在语义上的局限性，尤其是属性泄漏、实体泄漏和缺失实体，该方法通过约束查询语句中每个标记的注意区域来实现更准确的语义综合，此外，该方法简单而有效，可以轻松集成到现有的跨注意力扩散 T2I 生成器中，并成功地在生成内容中传达了原始文本的语义，并作为可用的插件得到了高可用性的证明。

    May, 2023

  • 本地条件控制文本到图像扩散模型

    本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

    Dec, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • SmartMask：面向细粒度物体插入和布局控制的上下文感知高保真蒙版生成

    通过 SmartMask 和 ControlNet-Inpaint 模型，本文介绍了一种能够实现优秀的目标插入效果并更有效地保护背景内容的方法，此方法不仅可以在用户创建详细掩码的情况下运行，还可以在无掩码条件下进行多样位置和比例的目标插入，并且还可以与基于指导的规划模型协同工作从头设计布局，相比于基于用户草图的布局设计方法，SmartMask 产生更高质量的布局图像。

    Dec, 2023

  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 提高人脸生成质量及配套使用合成字幕

    通过引入一种无需训练的流程，从人脸图像生成真实的外貌描述，进而改进了文本到图像扩散模型的能力，并提高了其遵循给定提示的能力。

    May, 2024

  • Uni-ControlNet: 文本到图像扩散模型全控制

    本文介绍了 Uni-ControlNet 的新方法，该方法利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。

    May, 2023