Jun, 2023

扩散模型中的语言绑定：通过注意力地图对齐增强属性对应关系

PDF
TL;DR该论文提出了 SynGen 方法，通过句子结构分析识别实体和修饰词，并使用新的损失函数来促进交叉注意力图与语言绑定相一致，从而有效提高了文本到图像生成的正确性。
text-conditioned image generationsyngenattention mapssentence structurefaithfulness
发现论文，激发创造
  • 通过注意力调节改进文本到图像生成对齐

    通过注意力机制的调节，我们提出了一种用于扩散模型的无需训练的逐阶段聚焦机制，旨在解决多实体和属性的文本提示处理中的注意力分布不均问题。我们的实验结果证明，我们的模型在各种情况下都能够以最小的计算成本实现更好的图像与文本的对齐。

    Apr, 2024

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023

  • 文本到图像生成中的对象 - 属性绑定：评估与控制

    通过提出聚焦交叉注意力（FCA）和句子中的句法约束，本研究解决了当前扩散模型在图像中正确绑定文本提及的属性到正确对象上的困难，并在多个数据集上展示了图像与文本之间的对齐领域的重大改进。

    Apr, 2024

  • 提升文本到图像合成中的语义保真度：扩散模型中的注意力调节

    我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

    Mar, 2024

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 扩散模型的注意力映射控制组合式文本到图像合成

    本文提出了一种基于预测的物体框的注意力掩码控制策略，以解决文本到图像合成模型在语义上的局限性，尤其是属性泄漏、实体泄漏和缺失实体，该方法通过约束查询语句中每个标记的注意区域来实现更准确的语义综合，此外，该方法简单而有效，可以轻松集成到现有的跨注意力扩散 T2I 生成器中，并成功地在生成内容中传达了原始文本的语义，并作为可用的插件得到了高可用性的证明。

    May, 2023

  • 划分与绑定注意力以提高生成语义护理

    提出了一种名为 'Divide & Bind' 的方法，用于处理复杂的提示或涉及多个实体的情景，并实现改进的属性绑定，以忠实地合成所需的对象并在多个评估基准上展示卓越性能。

    Jul, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 无需训练的结构扩散引导的组合文本到图像合成

    本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

    Dec, 2022

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023