公平扩散：教导文本到图像生成模型公平性
快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。
Nov, 2023
通过修改预训练的文本到图像模型以控制提示语，我们提出了一种称之为公平映射的通用、无模型依赖和轻量级方法，以解决现有文本到图像扩散模型在生成人类相关描述时产生有偏见图像的限制。
Nov, 2023
通过 DiffusionWorldViewer 工具进行分析和操作生成图像模型的态度、价值观、故事和对影响其生成图像的世界的预期，从而改进了生成文本到图像模型的偏见缓解方法，并挑战了通常假设普遍世界观的公平概念。
Sep, 2023
利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。
Sep, 2023
通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。
Nov, 2023
本文提出了一种方法，通过学习语义空间中可解释和有意义的路径来减轻深度学习区分模型中的相关性，以提高公平性。通过编辑受保护特征（如年龄和肤色），将这些路径应用于增强图像，从而改善给定数据集的公平性。
Nov, 2023
该研究使用生成对抗网络 (GANs) 生成面孔，发现在生成图像的过程中，训练数据中的偏见被放大。为了解决这个问题，提出了一种可解释的基准方法来平衡产生的面部属性，从而产生更平衡的数据。同时，该方法具有泛化能力来处理多个属性以及细分组的样本合成，进而用于量化商业人脸属性分类器和人脸超分辨率算法中的偏见。
Dec, 2020
本文介绍了一种有效可扩展的算法，利用强化学习（RL）在各种奖励函数上改进扩散模型，包括人类偏好、组合性和公平性，从而有效地解决了扩散模型与人类偏好不一致的问题，同时提高了生成样本的组合性和多样性。
Jan, 2024
本研究提出了一种总结生成文本到图像模型中的社会偏见并确保结果在不同人群之间公平的方法。我们通过在多样的文本提示下，用由各种民族、性别、职业、年龄组等组合构建的感知肤色和性别差异的合成数据对文本到图像模型进行微调，从而减轻了这种偏见。相较于基准模型，我们的多样性微调模型在感知肤色和性别方面将群体公平指标分别提高了 150% 和 97.7%。该模型生成具有感知肤色较暗和更多女性的生成图像。为推动开放研究，我们将公开发布所有文本提示和生成训练图像的代码。
Oct, 2023