一个新的偏差度量的原则方法

May, 2024

A Principled Approach for a New Bias Measure

Bruno Scarone, Alfredo Viola, Ricardo Baeza-Yates

TL;DR机器学习和数据驱动算法在决策制定领域的广泛应用已逐年增加，但相关负面影响也随之日益严重。负面数据偏差是其中之一，会对特定群体造成有害后果。为解决偏差带来的负面后果，必须首先认识到其存在，并找到一种能够理解和量化的方法。本文的主要贡献是：（1）提出了一个定义和高效量化数据集相对于保护群体偏差水平的通用算法框架；（2）定义了一种新的偏差度量方法。我们的实验结果在九个公开数据集上得到验证，并进行了理论分析，从而为该问题提供了新的见解。基于我们的方法，我们还推导出一种可能对政策制定者有用的偏差缓解算法。

Abstract

The widespread use of machine learning and data-driven algorithms for decision making has been steadily increasing over many years. The areas in which this is happening are diverse: healthcare, employment, financ

machine learning data-driven algorithms negative data bias awareness bias mitigation algorithm

发现论文，激发创造

自然语言处理中偏见和伤害的度量

该研究提出了有关 NLP 技术中有关社会偏见的框架和一系列问题，并且通过几个案例研究来验证了我们的框架和记录问题。

Aug, 2021

评估临床试验中的数据偏倚

该论文提出了一种解决数据偏见问题的方法，即通过定义可能存在于数据集中的数据偏见类型并使用适当的度量对其进行表征和量化，提供识别、衡量和减轻不同数据来源数据偏见的指南，适用于前瞻性和回顾性临床试验。

Dec, 2022

AI 偏见探索的标准化方向

创建公平的 AI 系统是一个复杂的问题，涉及评估上下文相关的偏见问题。本文提出了一个数学框架，将偏见的文献度量指标化为构建模块，从而促进涵盖广泛公平问题的新组合，我们还提供了一个名为 FairBench 的 Python 库，用于有系统且可扩展地探索潜在的偏见问题。

May, 2024

数据偏差管理

本篇论文探讨了数据偏见对最终用户的影响、偏见的来源以及如何处理数据偏见的问题。提出了‘bias management’的概念，强调应该从识别、测量、索引、面向和调整偏见的角度入手，而不是在所有情况下都要消除数据偏见。

May, 2023

机器学习分类器偏见缓解方法的全面实证研究

该研究对机器学习分类器的 17 种生动代表性偏差缓解方法进行了综合性的实证研究，在 8 种广泛采用的软件决策任务中应用了 11 种 ML 性能度量（例如，准确性）、4 种公平度量以及 20 种公平 - 性能权衡评估。在分析过程中，作者发现，无法在所有情境下达到最佳公平 - 性能平衡。

Jul, 2022

解剖因果偏见

准确测量在基于机器学习的自动决策系统中的歧视是解决子群体和 / 或个体间公平性的重要问题所必需的。本文关注于在生成和 / 或收集训练数据的方式中出现的一类偏见，我们称之为因果偏见，并使用因果关系领域的工具来正式定义和分析此类偏见。本文考虑了四种来源的偏见，即混杂、选择、测量和交互。本文的主要贡献是为每种偏见提供了一个基于模型参数的闭合表达式。这使得分析每种偏见的行为成为可能，特别是在哪些情况下它们不存在，以及在哪些其他情况下它们被最大化。我们希望提供的特征有助于社会更好地理解机器学习应用中偏见的来源。

Oct, 2023

AIM：归因、解释、减轻数据不公平

数据收集中的历史性歧视对弱势群体和个体产生了影响。现有的公平机器学习研究主要致力于减轻模型预测中的歧视倾向，但对于如何追踪数据中存在的偏见却付出了较少的努力，尽管这对公平机器学习的透明度和可解释性非常重要。为了填补这一空白，我们研究了一个新的问题：发现在训练数据中反映偏见 / 偏见的样本。基于现有的公平性概念，我们提出了一个样本偏见准则，并提出了衡量和抵消样本偏见的实用算法。得出的偏见分数提供了历史偏见在数据中的直观样本级归因和说明。在此基础上，我们通过基于样本偏见的最小数据编辑设计了两种公平机器学习策略。它们可以在最小或零的预测效用损失的情况下，减轻群体和个体的不公平现象。对多个真实世界数据集的大量实验和分析证明了我们方法在解释和减轻不公平方面的有效性。代码可在此 URL 获取：https://URL

Jun, 2024

用实际数据衡量文本分类的意外偏误的微妙度量

该论文通过引入一套阈值不可知的度量标准，考虑分类器分数分布在指定群体中的变化，从而提供了深入了解机器学习中的未预期偏差的视角，该方法可帮助发现现有公共模型中的新的潜在微妙的偏差，并使用在线评论和众包注释展示该度量标准的运用。

Mar, 2019

偏差缓解技术中的关键问题调查

本研究提出了一个改进的评估协议、合理的指标和一个新的数据集，以评估现有的 7 种最先进的减少偏差算法的有效性。研究发现，算法利用隐藏的偏见，无法适应多种偏向，而且对调整数据集的选择非常敏感。因此呼吁社区采用更严格的评估方法。

Apr, 2021

消除 “偏见” 测量中的偏差

通过数学和模拟，作者表明现有的用于测量群体间的模型性能差异的度量大多是基于统计偏差的估计量，因此提出了一种 “双校正” 方差估计器，提供了模型性能在群体间变化的无偏估计和不确定性量化，这种方法在现实数据集上的应用表明，在统计偏差的影响下，群组间的性能差异不再显著。

May, 2022