揭示机器偏见之源
通过对房屋贷款申请决策的真实数据添加反事实(模拟)种族偏见,本文展示了即使没有将族裔作为预测变量,机器学习模型(XGBoost)仍然会重复这种偏见。接下来比较了几种去偏方法:禁止变量的平均值、在禁止变量中选择最优预测(一种新方法)以及同时最小化误差和预测与禁止变量之间的关联。去偏可以恢复部分原始决策,但结果对于偏见是否通过代理方式产生是敏感的。
May, 2024
准确测量在基于机器学习的自动决策系统中的歧视是解决子群体和 / 或个体间公平性的重要问题所必需的。本文关注于在生成和 / 或收集训练数据的方式中出现的一类偏见,我们称之为因果偏见,并使用因果关系领域的工具来正式定义和分析此类偏见。本文考虑了四种来源的偏见,即混杂、选择、测量和交互。本文的主要贡献是为每种偏见提供了一个基于模型参数的闭合表达式。这使得分析每种偏见的行为成为可能,特别是在哪些情况下它们不存在,以及在哪些其他情况下它们被最大化。我们希望提供的特征有助于社会更好地理解机器学习应用中偏见的来源。
Oct, 2023
AI/NLP models trained on racially biased datasets demonstrate various types of bias, raising profound ethical implications regarding the impact of these models on user experience and decision-making due to the presence of racial bias features in datasets. The research implicates a negative influence on users' persuasiveness due to unexplainable discriminatory outcomes, calling for responsible AI frameworks within organizations.
Jan, 2022
本研究探讨了 12 种顶级的偏差缓解方法,讨论其性能,基于 5 种不同的公平度量标准、实现的准确性和金融机构的潜在利润。我们的研究结果表明,在保留准确性和利润的前提下实现公平存在困难,同时突出了一些最佳和最差的表现,并有助于实验机器学习和其工业应用之间的联系。
Sep, 2022
本文通过为潜在的偏见和数据模型中的错误提供分类法,目的是弥合过去关于偏见的文献以及在机器学习中缺少对其根源或原因的研究。调查分析了机器学习(ML)流程中超过四十个潜在的偏见来源,并且为每个来源提供了明确的示例。通过理解机器学习中偏见的来源和后果,可以开发出更好地检测和减轻偏见的方法,从而得到更公正、更透明和更准确的 ML 模型。
Aug, 2023
本文阐述了机器学习模型中出现偏见导致算法决策对特定群体或少数群体的歧视的问题,提出了公平学习问题的数学框架,运用标准差异影响指数量化偏见,最终检查了不同方法在二元分类结果中减少偏见的性能,并表明一些直观方法并不有效。这揭示了在训练观测结果包含偏见时,尝试制作公正的机器学习模型可能是一项特别具有挑战性的任务。
Mar, 2020
本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现,部分优化技术会导致模型失公,尽管机器学习库中有公平控制机制,但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.
May, 2020