Dec, 2023

文本到图像扩散模型的语义引导调整

HTML
PDF
TL;DR最近的文本到图像(T2I)扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL
发现论文，激发创造
  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在FFHQ和LSUN数据集上进行了实验。

    Dec, 2021

  • 无需训练的结构扩散引导的组合文本到图像合成

    本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了T2I模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

    Dec, 2022

  • Attend-and-Excite: 基于注意力的文本到图像扩散模型的语义引导

    本文通过分析现有的文本到图像生成模型，发现它们可能存在的主体遗漏及属性捆绑问题，通过介绍“生成语义护理”（GSN）的概念和基于注意力机制的Attend-and-Excite方法，可以在推理过程中实时干预生成过程，大大提高所生成图像的真实性和语义连贯性。

    Jan, 2023

  • 利用非对称梯度引导改进基于扩散的图像翻译

    本文提出了一种使用非对称梯度指导的扩散抽样反向过程的方法，以解决图像翻译中的风格转换和内容保留的权衡问题，并在文本引导和图像引导下进行了快速稳定的图像操作。

    Jun, 2023

  • CONFORM：高保真文本到图像扩散模型所需的全部是对比度

    通过对比背景下处理此问题的新方法，我们有效地展示了我们的方法在处理各种不同类型的文字到图像扩散模型中的对象、特征和背景组合时的多功能性、高效性和灵活性。

    Dec, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的Prompt反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 对比提示改善文本到图像扩散模型中的解缠

    通过对分类器的自由引导的简单修改，该论文展示了 Contrastive Guidance 方法可以帮助在文本到图像模型中解开图像因素，从而提供对图像因素更精细的控制。该方法的关键思想是使用两个仅在最小标记上有差异的提示对所需的因素进行描述，其中正面提示描述待合成的图像，基准提示作为“基准”以解开其他因素。这种方法在三个场景下的优势体现为：（1）指导在对象类上训练的领域特定扩散模型，（2）为文本到图像生成提供连续的、类似骨骼的控制，以及（3）提高零-shot图像编辑器的性能。

    Feb, 2024

  • 提升文本到图像合成中的语义保真度：扩散模型中的注意力调节

    我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

    Mar, 2024

  • 文本到图像扩散模型中的交叉注意力使推理繁琐

    该研究探讨了文本条件扩散模型在推理过程中的跨注意力的作用。研究发现，跨注意力输出在几个推理步骤后趋于一个固定点。因此，收敛的时间点自然地将整个推理过程分为两个阶段：初始的语义规划阶段，此阶段模型依赖于跨注意力来规划与文本相关的视觉语义；以及接下来的提高保真度阶段，在此阶段模型试图根据之前规划的语义生成图像。令人惊讶的是，在提高保真度阶段忽略文本条件不仅降低计算复杂度，而且保持了模型的性能。这产生了一种简单且无需训练的有效生成方法，称为TGATE，它在收敛后缓存跨注意力输出，并在剩余推理步骤中保持固定。我们在MS-COCO验证集上的实证研究证实了其有效性。TGATE的源代码可在此 https URL 中获取。

    Apr, 2024

  • 重新思考无分类器扩散引导中的空间不一致性

    本研究提出了一种新方法 Semantic-aware Classifier-Free Guidance (S-CFG)，用于定制不同语义单元在文本到图像扩散模型中的引导程度。研究表明，在各种文本到图像扩散模型上，S-CFG 相较于原 CFG 策略具有明显优势，且不需要额外的训练成本。

    Apr, 2024