审计交叉偏见的预测模型
介绍了一种新颖的子集扫描方法,用于检测统计学显著的偏差或区域,以及识别分类器偏差或预测不良的特征子集,该方法使用基于子集扫描和参数引导的方法处理了指数级可能的子集。
Nov, 2016
本文研究关于机器学习中的公平性问题,针对多种敏感属性,提出了应对交叉性公平性偏差的方法,定义了一系列评估数据或模型输出结果公平性的指标,并开发了后处理技术来减轻分类模型的交叉性偏差。这些技术不依赖于底层模型的任何假设,并可以保持公平性和预测性能的平衡。最后,展示了在实际数据集上提出的方法的有效性。
Nov, 2019
该研究提出了一种基于预测敏感性的方案,用于对已部署的分类器进行持续审计,以识别反对事实上的公正性。该方案不需要保护状态信息的预测时间,可以利用保护状态和其他特征之间的相关性,并展示了该方法有效检测反对事实上公正性的违规情况。
Feb, 2022
通过使用深度学习模型,本研究在疾病诊断方面取得了重要进展,在使用胸部 X 射线上具有很大潜力。然而,这些模型中存在的固有偏见可能导致预测准确性在不同保护组之间存在差异。为了实现准确的诊断结果并确保在交叉组之间公平性,我们提出了一个框架,用于在高维胸部 X 射线多标签分类任务中实现公平性。该框架不仅考虑传统的受保护属性,还考虑了社会决定因素中的复杂交互作用,使得公平性的评估更加细致。我们提出了一种简单而强大的方法,通过使用跨组平衡的数据集来重新训练预训练模型的最后分类层。此外,我们还考虑了公平性约束,并在多标签设置中集成了类别平衡微调。我们在 MIMIC-CXR 数据集上评估了我们的方法,结果表明与基准方法相比,我们的框架在准确性和公平性之间实现了最佳权衡。
Mar, 2024
本文研究了评估算法决策的不平等影响面临的根本性挑战:保护类成员在数据中通常不可观察。研究者考虑使用附加数据集来构建模型,从而预测代理变量(如姓氏和地理位置)来确定受保护类别的成员身份,提供了计算和可视化这些集合的算法和统计工具。通过借助美国人口普查数据和两个真实案例(抵押贷款和个性化药物剂量),展示了这种方法可以实现可靠和稳健的不平等影响评估。
Jun, 2019
本文研究了在从(可能有偏见的)训练数据中学习预测模型,并通过某种审计方法事后评估公平性的一般性情况,通过定量而非定性地评估数据偏差的下游影响并证明检测的理论保证。
Feb, 2023
本文提出了一种新的框架 ——α 交叉公平(Intersectional Fairness)框架,来解决交叉敏感群体的分类问题,提出了一种新的公平度量,并在实验中验证了该框架的有效性以及一些算法的有效性。
May, 2023
这篇论文探讨了在自然语言处理模型中的偏差对模型的影响,提出了针对多个保护属性进行评估的自动去偏差技术,并研究了一个新的有偏约束模型及其扩展版本的迭代零空间投影技术。
Sep, 2021
通过引入结构回归方法进行细分评估,以演示即使对于非常小的子群体,也可以得出可靠的系统性能估计,进而提供相应的推断策略以构建置信区间,并探索拟合度检验如何揭示交叉群体所经历的公平相关伤害的结构。
Jan, 2024