机器学习模型训练中对表现较好少数群体过度采样略微减少不良影响但也降低了模型准确性

Apr, 2023

机器学习模型训练中对表现较好少数群体过度采样略微减少不良影响但也降低了模型准确性

Oversampling Higher-Performing Minorities During Machine Learning Model Training Reduces Adverse Impact Slightly but Also Reduces Model Accuracy

PDF

Louis Hickman, Jason Kuruzovich, Vincent Ng, Kofi Arhin, Danielle Wilson

TL;DR该研究使用机器学习模型对人事评估进行建模，探讨训练数据中负面影响比率对模型预测结果的影响，发现训练数据中负面影响比率与模型异常影响呈线性关系，但是从训练数据中去除负面影响只能略微减少异常影响，同时会对模型准确性产生负面影响。

Abstract

Organizations are increasingly adopting machine learning (ML) for personnel assessment. However, concerns exist about fairness in designing and implementing ML assessments. Supervised ML models are trained to mod

machine learning personnel assessment fairness adverse impact accuracy

发现论文，激发创造

样本推断中的系统偏差及其对机器学习的影响

在机器学习模型中，对小众群体的收入水平等指标的预测偏低通常源于样本量过小导致的系统性和方向性统计偏差。

Jul, 2023

机器学习中的低表示和抽样偏差问题探讨

本文介绍了通过采样偏差分析和定义样本大小偏差和代表性偏差，以及探讨借助企图收集欠代表的群体样本来处理歧视的观点。

Jun, 2023

现实世界深度学习应用中的模型选择差异影响

本文研究算法公平性中的偏见数据和人类偏好在模型选择中的作用，并通过真实医学影像数据的深度学习模型实证了模型比较指标的选择，特别是那些不考虑变异性，可能会对模型选择结果造成显着的偏差。

Apr, 2021

移除偏见数据以提高公平性和准确性

提出了一种黑盒子方法，用于识别和消除具有偏见的训练数据，以减少机器学习所带来的偏见，此方法在实验中显示出比之前的方法更佳的个体歧视和准确性表现。

Feb, 2021

数据和机器学习算法中种族偏见对用户说服力和歧视性决策的因果影响：实证研究

AI/NLP models trained on racially biased datasets demonstrate various types of bias, raising profound ethical implications regarding the impact of these models on user experience and decision-making due to the presence of racial bias features in datasets. The research implicates a negative influence on users' persuasiveness due to unexplainable discriminatory outcomes, calling for responsible AI frameworks within organizations.

Jan, 2022

通过统计平等棱镜调查机器学习中的偏见 —— 以成人数据集为例

本文阐述了机器学习模型中出现偏见导致算法决策对特定群体或少数群体的歧视的问题，提出了公平学习问题的数学框架，运用标准差异影响指数量化偏见，最终检查了不同方法在二元分类结果中减少偏见的性能，并表明一些直观方法并不有效。这揭示了在训练观测结果包含偏见时，尝试制作公正的机器学习模型可能是一项特别具有挑战性的任务。

Mar, 2020

AIM：归因、解释、减轻数据不公平

数据收集中的历史性歧视对弱势群体和个体产生了影响。现有的公平机器学习研究主要致力于减轻模型预测中的歧视倾向，但对于如何追踪数据中存在的偏见却付出了较少的努力，尽管这对公平机器学习的透明度和可解释性非常重要。为了填补这一空白，我们研究了一个新的问题：发现在训练数据中反映偏见 / 偏见的样本。基于现有的公平性概念，我们提出了一个样本偏见准则，并提出了衡量和抵消样本偏见的实用算法。得出的偏见分数提供了历史偏见在数据中的直观样本级归因和说明。在此基础上，我们通过基于样本偏见的最小数据编辑设计了两种公平机器学习策略。它们可以在最小或零的预测效用损失的情况下，减轻群体和个体的不公平现象。对多个真实世界数据集的大量实验和分析证明了我们方法在解释和减轻不公平方面的有效性。代码可在此 URL 获取：https://URL

Jun, 2024

透过反事实预测实现平等机会和肯定行动

本文提出了两个算法，通过因果模型和反事实决策来实现公平的机器学习预测器，以实现提供平等机会和重修历史劣势。在包括招生、收入、信用和再犯等领域的数据集上进行评估与权衡，结果表明这些预测器在理论上达到了预测性能的最优，同时满足公平性。

May, 2019

公正感知学习与无偏表示

本研究提出一种新算法，可以识别和处理潜在的歧视因素，确保机器学习模型的公平性，从而提高模型性能，实现非歧视分类和回归任务。

Feb, 2020

一个众包平台上的机器学习模型是否会表现出偏见？模型公正性的实证研究

本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现，部分优化技术会导致模型失公，尽管机器学习库中有公平控制机制，但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.

May, 2020