快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

对比四种最新的文本到图像生成模型的基准偏差特征与各自变体，在社会偏见和一般偏见方面提出了三种评估方法，并将该方法应用于字幕图像数据集以衡量其偏见。

Dec, 2023

我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

Dec, 2023

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

Feb, 2023

使用合成图像的方法探索扩散模型的两个应用领域（图像编辑和分类），从而揭示了目前最先进的开源文本到图像模型 Stable Diffusion 中存在的具有意义且显著的交叉社会偏见，这对于下游任务和服务中文本到图像基础模型的不加思考的应用提出了警告。

Dec, 2023

本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

Mar, 2023

为了解决在线误导信息的问题，该研究引入了 D-TIIL（基于扩散的文本 - 图像不一致性定位），采用文本对图像扩散模型来定位文本和图像对中的语义不一致性，并通过文本嵌入和修改后的图像区域进行可视化。

Apr, 2024

通过对文本到图像系统的进展和合成图像在训练和推理过程中的不足进行研究，揭示了语义不匹配、多样性缺乏和表征基础概念的无能等问题，同时提出了对 CLIP 嵌入几何的令人惊讶的见解。

Oct, 2023

通过引入时间折扣机制以适应 T2I 生成层次结构，本文提出了一种可行的对齐目标，强调 T2I 反向链中的初始步骤，实验证明该方法在单个和多个提示生成方面与相关基线方法具有竞争力。

Feb, 2024

本文介绍了一种有效可扩展的算法，利用强化学习（RL）在各种奖励函数上改进扩散模型，包括人类偏好、组合性和公平性，从而有效地解决了扩散模型与人类偏好不一致的问题，同时提高了生成样本的组合性和多样性。

Jan, 2024