偏见缓解的连续效应解释

Dec, 2023

Explaining Knock-on Effects of Bias Mitigation

Svetoslav Nizhnichenkov, Rahul Nair, Elizabeth Daly, Brian Mac Namee

TL;DR机器学习系统中，偏见缓解方法旨在使特权组和非特权组的结果更加公平。本文旨在对应用缓解干预措施时受影响的群体进行特征化，将干预效果视为分类任务，并学习可解释的元分类器以识别具有改变结果的群体。我们检验了在模型生命周期的不同阶段工作的一系列偏见缓解策略，并在实证上证明了我们的元分类器能够揭示受影响的群体。此外，我们展示了所有测试过的缓解策略对部分人群产生了负面影响，即仅因缓解措施而获得不利结果的人群。尽管在公平度量指标上有所改善，但我们使用这些结果作为基础，主张对超出聚合指标的静态缓解干预措施进行更加谨慎的审查。

Abstract

In machine learning systems, bias mitigation approaches aim to make outcomes fairer across privileged and unprivileged groups. Bias mitigation methods work in different ways and have known "waterfall" effects, e.

machine learning systems bias mitigation approaches impacted cohorts mitigation interventions fairness metrics

发现论文，激发创造

机器学习分类器的偏差缓解：一项综合调查

本篇论文对机器学习模型中的偏差缓解方法进行了全面调查，收集了 341 篇有关偏差缓解的出版物，并对它们进行了评估，提供了支持从业人员在开发和评估新的偏差缓解方法时做出明智选择的见解。

Jul, 2022

机器学习分类器偏见缓解方法的全面实证研究

该研究对机器学习分类器的 17 种生动代表性偏差缓解方法进行了综合性的实证研究，在 8 种广泛采用的软件决策任务中应用了 11 种 ML 性能度量（例如，准确性）、4 种公平度量以及 20 种公平 - 性能权衡评估。在分析过程中，作者发现，无法在所有情境下达到最佳公平 - 性能平衡。

Jul, 2022

如何做到公平？对标签和选择偏差的研究

存在情况下，偏见缓解技术能够更准确的模型，在无偏数据上测量时。我们通过对偏见类型和缓解技术的效果建立关系来解决这一问题，并用理论分析来解释实验结果，并展示最小化公平度量并不一定会产生最公平的分布。

Mar, 2024

超越准确性和公平性：不再仅基于群组间指标对偏见缓解方法进行评估

人工智能（AI）在各领域广泛应用，引发对公平性的关注。然而，现行的讨论往往强调基于结果的度量，而对亚组内不同影响缺乏细致考虑。偏见缓解技术不仅影响敏感组之间实例的排名，而且通常也显著影响这些组内实例的排名。这种变化很难解释，并引发对干预有效性的担忧。然而，当前通常使用的准确性公平评估框架很少注意到这些效应。本文挑战用于评估偏见缓解技术的现行指标，认为它们不考虑组内变化，导致预测标签无法反映真实场景。我们提出一个范式转变：首先，我们应该专注于为每个亚组生成最准确的排名。然后，根据这些排名选取个体以满足公平标准和实际考量。

Jan, 2024

级联去偏：研究多项增进公平的干预的累积效应

本研究着重探索不同阶段的机器学习管道中多个公正增强干预措施的累积效应对公正的影响，发现通过应用多个干预措施可提高公正性并降低效用度，但是增加更多的干预措施并不总是带来更好的公正性或更差的效用度，并提出了在不同公正和效用度指标下执行最佳干预组合以帮助设计公正的机器学习管道的清单。

Feb, 2022

针对二分类决策系统的偏见缓解方法：调查和建议

本文对偏见缓解方法进行了系统概述，报告了其优点和局限性，并为二元分类的未来偏见缓解方法的开发提供建议。

May, 2023

一个众包平台上的机器学习模型是否会表现出偏见？模型公正性的实证研究

本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现，部分优化技术会导致模型失公，尽管机器学习库中有公平控制机制，但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.

May, 2020

针对个体和群体公平性的偏差缓解后处理

该研究提出了一种新的框架，能够在现实数据集中同时增加个体公平性和群体公平性，并展示了在信用、就业和刑事司法等应用中，在分类准确性、个体和群体公平性方面相比之前的工作表现更为优异。

Dec, 2018

视觉识别中的公正性：减轻偏见的有效策略

本文探讨计算机视觉领域中，当进行看似不相关的任务（如活动识别或图像描述）训练时，模型学习偏见的问题，以及避免学习此类偏见的方法，并在 CelebA 数据集的属性分类任务中使用领域无关的训练技术，有效地减轻了现实世界中的性别偏见。

Nov, 2019

偏差缓解技术中的关键问题调查

本研究提出了一个改进的评估协议、合理的指标和一个新的数据集，以评估现有的 7 种最先进的减少偏差算法的有效性。研究发现，算法利用隐藏的偏见，无法适应多种偏向，而且对调整数据集的选择非常敏感。因此呼吁社区采用更严格的评估方法。

Apr, 2021