本文提出了一种新的文本到图像算法，通过在扩散模型中加入显式的空间 - 时间交叉注意力控制，利用布局预测器和空间注意力控制相结合，实现优化组合权重的方式，从而生成与文本更高保真的图像。

Apr, 2023

通过注意力机制的调节，我们提出了一种用于扩散模型的无需训练的逐阶段聚焦机制，旨在解决多实体和属性的文本提示处理中的注意力分布不均问题。我们的实验结果证明，我们的模型在各种情况下都能够以最小的计算成本实现更好的图像与文本的对齐。

Apr, 2024

本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

Jun, 2023

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

本文提出了一种基于预测的物体框的注意力掩码控制策略，以解决文本到图像合成模型在语义上的局限性，尤其是属性泄漏、实体泄漏和缺失实体，该方法通过约束查询语句中每个标记的注意区域来实现更准确的语义综合，此外，该方法简单而有效，可以轻松集成到现有的跨注意力扩散 T2I 生成器中，并成功地在生成内容中传达了原始文本的语义，并作为可用的插件得到了高可用性的证明。

May, 2023

用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

Aug, 2023

研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。

Mar, 2024

通过 DenseDiffusion 方法，我们能够在不需额外微调或数据集的情况下，有效改善给定密集描述的图像生成性能，并且达到与专门训练有场景布局条件的模型相似的视觉效果。

Aug, 2023

该研究探讨了文本条件扩散模型在推理过程中的跨注意力的作用。研究发现，跨注意力输出在几个推理步骤后趋于一个固定点。因此，收敛的时间点自然地将整个推理过程分为两个阶段：初始的语义规划阶段，此阶段模型依赖于跨注意力来规划与文本相关的视觉语义；以及接下来的提高保真度阶段，在此阶段模型试图根据之前规划的语义生成图像。令人惊讶的是，在提高保真度阶段忽略文本条件不仅降低计算复杂度，而且保持了模型的性能。这产生了一种简单且无需训练的有效生成方法，称为 TGATE，它在收敛后缓存跨注意力输出，并在剩余推理步骤中保持固定。我们在 MS-COCO 验证集上的实证研究证实了其有效性。TGATE 的源代码可在此 https URL 中获取。

Apr, 2024

本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

Dec, 2022