本文介绍了一种方法，通过以独立方式修改交叉注意力图，解决了扩散式文本到图像模型中的交叉偏见问题。实验结果表明，我们的方法在减轻各种属性上的单一和交叉偏见方面超越了现有方法，并提供了我们的源代码和去偏模型以促进生成模型的公平性和支持进一步的研究。

Mar, 2024

研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。

Mar, 2024

我们提出了一种条件交叉注意力网络，通过一个单一的主干网络产生可以区分出对象多个具体属性的解缠多空间嵌入。该方法首先利用交叉注意力机制融合和切换条件信息，通过多样的可视化示例证明其有效性。其次，首次将视觉变换应用于细粒度图像检索任务，并提出了一个简单且有效的框架，与现有方法相比。与以往研究不同的是，我们的方法在 FashionAI、DARN、DeepFashion 和 Zappos50K 基准数据集上取得了始终如一的最先进性能。

Jul, 2023

本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

Feb, 2020

我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

Mar, 2024

通过对 Stable Diffusion 模型进行深入分析，发现交叉注意力映射中的对象归属信息容易导致编辑失败，而自我注意力映射在源图像到目标图像的转换过程中起到了关键保留几何和形状细节的作用。在此基础上，我们提出了一种更简化、更稳定、更高效的无需调整的图像编辑方法，仅在去噪过程中修改指定注意力层的自我注意力映射。实验结果表明，我们的简化方法在多个数据集上始终优于流行方法的性能。

Mar, 2024

通过利用扩散模型生成的人工图像中的自由注意力掩膜进行无监督学习，可以在图像分类、检测、分割和图像 - 文本检索等多个下游任务中实现基线模型的一致性改进，从而缩小无监督预训练在合成数据和现实场景之间的性能差距。

Aug, 2023

使用 AttenCraft 方法，我们提出了一种基于注意力引导的多概念解缠方法，它使用了自注意力和交叉注意力图来生成精确的概念掩模，并在训练过程中应用于每个目标概念的交叉注意力激活，从而在图像对齐方面优于基线模型，并在文本对齐方面表现相当。

May, 2024

本文提出了 DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用 Cross-Attention Erasure 模块来显式 “擦除” 指示的注意力图，并分析扩散模型的采样过程对 PGD 攻击的影响，引入了一种新颖的 Merit Sampling Scheduler 来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的 DisDiff 方法在 FDFR 分数上优于现有方法 12.75％，在 ISM 分数上优于现有方法 7.25％。

May, 2024

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023