针对敏感应用如医疗保健或刑事司法等领域,本研究旨在解决在预测模型中公平性与准确性的平衡问题,并提出,应该在数据的背景下评估预测结果的公平性,并通过数据收集来解决样本大小或未测量的预测变量所带来的不公平性,同时通过将成本基准的歧视度量分解为偏差,方差和噪音,并提出旨在估计和减少每个术语的行动。最后,本文以收入,死亡率和审查等领域的预测为案例研究,确认这种分析方法的价值,并发现数据收集通常是减少歧视而不牺牲准确性的手段。
May, 2018
通过实证方法,我们评估了六种标签噪音修正方法在多个公正度度量标准上的表现,结果表明混合标签噪音修正方法在预测性能和公正度之间取得了最佳平衡,而基于聚类的修正方法可以最大程度地减少歧视但降低了预测性能。
Jun, 2023
本文结合犯罪学、计算机科学和统计学等多个领域的文献,探讨了刑事司法风险评估中的公平性和准确性之间的权衡,揭示了至少六种不同的公平性,其中一些不仅彼此不兼容,而且与准确性不兼容。研究发现,实际上很难在同一时间达到准确性和公平性的最大化,并且很难同时满足所有公平的要求,需进行权衡和考量。
Mar, 2017
该论文介绍了一种比较不同风险评估模型公平性的框架,特别关注与种族和性别的不平等问题,以预测再犯率和贷款为例进行实验。
Jun, 2017
针对风险评估的核心伦理辩论不仅仅是偏差或准确性的问题,而是目的的问题。机器学习不应用于预测,而是用于发现进入因果模型的协变量,以了解犯罪的社会,结构和心理驱动因素。我们提出了一种机器学习和因果推断的替代应用,从预测风险分数转向风险缓解。
Dec, 2017
本文提出了通过从可允许的训练数据中去除保护变量的所有信息来消除预测模型偏见的方法,并将其应用于罪犯记录的数据集以产生种族中立的再逮捕预测方案,证明了将种族作为协变量省略的方式仍导致存在种族差异,并且证明了应用我们提出的方法可以将这些数据中的种族差异从预测中去除,并对预测准确性的影响最小。
Oct, 2016
本文提出了一种概率算法偏见的方法,通过消除模型将要训练的数据中所有关于保护变量的信息来消除模型中的偏见。我们将我们的方法应用于一个关于罪犯在被判决时的犯罪历史数据集,并证明了一种创建 “种族中立” 模型的常见方法 - 即忽略种族作为协变量 - 仍然会导致种族差异预测。最后,我们证明了采用我们提出的方法可以最小限度地对预测精度产生影响,同时消除预测中的种族差异。
研究了在训练标签被随机噪声污染和误差率依赖于保护子组的成员函数的情况下如何训练公平分类器,发现简单地强制使用人口统计差异措施达到平等,会降低分类器的准确性和公平性。通过使用指定的替代损失函数和替代约束条件对经验风险最小化进行优化可以减少标签噪声引起的问题。
Oct, 2020
本研究探讨了在监督式分类的情况下,训练数据的质量与通过这些数据训练的模型的整体公平性之间的关系,并测量了多个图像分类数据集上多个算法的关键公平度量,同时描绘和添加数据中的噪声以及对训练集数据进行标记的不准确性与标记噪声之间的关系。
May, 2023
本文提出了针对算法风险评估工具的反事实度量方法,并使用双重稳健估计方法估算反事实度量。作者提出的度量方法更适合在决策上下文中使用;因此,纵观标准公平度量和反事实度量,两者仅在特定条件下才能同时成立,本文提供了理论结果和实证结果以证明他们的方法优于标准做法。
Aug, 2019