利用扩散扰动衡量计算机视觉中的公平性

Nov, 2023

利用扩散扰动衡量计算机视觉中的公平性

Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision

Nicholas Lui, Bryan Chia, William Berrios, Candace Ross, Douwe Kiela

TL;DR通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

Abstract

computer vision models have been known to encode harmful biases, leading to the potentially unfair treatment of historically marginalized groups, such as people of color. However, there remains a lack of datasets

computer vision models harmful biases diffusion models fairness evaluation racial biases

发现论文，激发创造

利用视觉语言驱动的图像增强提高公平性

本文提出了一种方法，通过学习语义空间中可解释和有意义的路径来减轻深度学习区分模型中的相关性，以提高公平性。通过编辑受保护特征（如年龄和肤色），将这些路径应用于增强图像，从而改善给定数据集的公平性。

Nov, 2023

改进文本到图像扩散模型实现公平

快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

公平扩散：教导文本到图像生成模型公平性

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

Feb, 2023

性别倾斜：通过属性操作实现计算机视觉模型的反事实公平性

本文提出了一种使用编码器 - 解码器网络开发的人脸图像合成方法，以测量商业计算机视觉分类器的反事实公平性，并报告了在线搜索服务中与职业相关的关键字中出现的偏向性，用以解释模型偏差的来源。

May, 2020

透过公平的镜子：减少图像数据集中的偏差

本研究通过重构和最小化预期变量之间的统计相依来解决图像训练数据偏见的问题，使用包含 U-net 和预训练分类器的架构，将所提出的模型与最新的去偏见方法进行了对比，并展示了模型的公正性 - 准确性组合。

Sep, 2022

计算机视觉中的下降水平：公平深度分类器中的帕累托效率失灵

应用现有的公平性方法来增强计算机视觉中的公平性，会导致对所有组的分类器性能的降低，但本文通过扩展分类的偏差 - 方差分解来理论上解释了这一现象，并提出了一种自适应增强策略以改善这一问题。

Mar, 2022

在数据领域探索公平性表示

本文提出了一种数据之间的翻译方法，实现了图像或表格数据的公平性，有效避免保护特征的语义性对公平性造成的影响，并在实际数据集面对性别这一保护特征时表现出了很好的机会平等性。

Oct, 2018

扩散式人脸生成模型的偏差分析

本论文探究了扩散模型在人脸生成中存在的偏见来源，如性别、种族和年龄等属性，并调查了数据集大小对不同属性类别下扩散模型和对抗生成网络（GAN）模型的属性组成和感知质量的影响，结果发现扩散模型往往会恶化训练数据的分布偏见，同时受到数据集大小的影响，而拥有较多样本的平衡数据集训练的 GAN 模型在不同属性方面表现出较小的偏差。

May, 2023

公平文本到图像扩散通过公平映射

通过修改预训练的文本到图像模型以控制提示语，我们提出了一种称之为公平映射的通用、无模型依赖和轻量级方法，以解决现有文本到图像扩散模型在生成人类相关描述时产生有偏见图像的限制。

Nov, 2023

高斯协调：扩散型人脸生成模型中实现公平性

本文提出了一种用于平衡生成图像的面部属性的新方法，通过在扩散模型的潜在空间中使用高斯混合模型 (GMM) 来定位面部属性的平均值，从而减小生成过程中的偏差。我们的方法不需要重新训练，而是实时定位子空间来减小生成公平数据的偏差，并保持生成样本的质量。在多个人脸属性数据集上对我们的方法进行评估，结果表明我们的方法在代表性公平性方面实现了更公平的数据生成，同时保持了生成样本的质量。

Dec, 2023