快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

使用文本到图像扩散模型在规模上生成对抗实例，以探测和缓解视觉 - 语言模型中的交叉社会偏见。

Nov, 2023

我们提出了一种新的视角和框架，论证了扩散模型与交叉注意力可以作为强大的归纳偏好来促进解缠表示的学习，通过对概念标记的交叉注意力桥接编码器和扩散之间的交互，在基准数据集上不经过额外正则化就实现了卓越的解缠性能，超过了所有之前采用复杂设计的方法。这是首次揭示了扩散模型与交叉注意力的强大解缠能力，不需要复杂设计，我们期待我们的发现会激发更多对扩散进行解缠表示学习的研究，以实现对更复杂数据的分析和理解。

Feb, 2024

通过使用文本到图像扩散模型和稳定扩散与交叉注意力控制方法，在产生大规模的反事实图像 - 文本对的基础上，揭示了现有的先进视觉 - 语言模型中存在的交叉社会偏差。

Oct, 2023

研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。

Mar, 2024

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

通过对 Stable Diffusion 模型进行深入分析，发现交叉注意力映射中的对象归属信息容易导致编辑失败，而自我注意力映射在源图像到目标图像的转换过程中起到了关键保留几何和形状细节的作用。在此基础上，我们提出了一种更简化、更稳定、更高效的无需调整的图像编辑方法，仅在去噪过程中修改指定注意力层的自我注意力映射。实验结果表明，我们的简化方法在多个数据集上始终优于流行方法的性能。

Mar, 2024

目前的学习型文本到图像模型存在社会偏见问题，本研究提出了一种基于迭代分布对齐的方法，通过权重优化来解决社会偏见问题。

Feb, 2024

本文提出了 DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用 Cross-Attention Erasure 模块来显式 “擦除” 指示的注意力图，并分析扩散模型的采样过程对 PGD 攻击的影响，引入了一种新颖的 Merit Sampling Scheduler 来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的 DisDiff 方法在 FDFR 分数上优于现有方法 12.75％，在 ISM 分数上优于现有方法 7.25％。

May, 2024

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

Feb, 2023