通过隐蔽性偏倚抽样来伪造公平性
通过多重假设检验,在统计保证的前提下,使用自助法在子人群的集合中同时限制性能差异,从而识别受模型性能不足影响的子人群并验证模型在某些子人群中的适用性。此外,该方法还兼容超丰富甚至无限的子人群集合,并支持评估在某些分布变化下的性能。
May, 2023
研究 ML 模型的审计算法,通过提出确定性算法和实用的随机化算法来评估 ML 模型的人口统计平等,以帮助监管机构应对机器学习的监管挑战,并为 AI 治理奠定更坚实的理论基础。
Jun, 2022
公平审计中,确定所需子群样本量以最大化假设检验的统计功效对于获得信息丰富的公平评估至关重要,本文解决了这些问题并提供了相关指导,适用于二元分类模型的审计和多种公平度量方法的总结。此外,文章还讨论了其他可提高审计结果可靠性的研究方法设计方面的问题。
Dec, 2023
本文介绍了一种基于统计推断的系统的运行时监测技术,该系统具有未知的结构但是被假定为具有马尔可夫链结构。我们引入了一种规范语言,可以模拟许多常见的算法公平性属性,例如人口平均,平等机会和社会负担。使用原型实现,我们展示了如何监测银行在不同社会背景的申请人给予贷款以及学院在保持合理的社会负担的情况下公平地录取学生。
May, 2023
本文提出了针对算法风险评估工具的反事实度量方法,并使用双重稳健估计方法估算反事实度量。作者提出的度量方法更适合在决策上下文中使用;因此,纵观标准公平度量和反事实度量,两者仅在特定条件下才能同时成立,本文提供了理论结果和实证结果以证明他们的方法优于标准做法。
Aug, 2019
决策系统中的一个基本问题是在人口统计线上存在不公平问题。然而,不公平很难量化,尤其是当我们的公平概念依赖于难以衡量的风险时。在这篇论文中,我们展示了即使在存在未观测混杂的现实环境中,我们仍然可以给出高风险个体的分配率的有信息的界限。通过利用在真实世界中的先于任何分配的数据,我们导出了关于风险的无偏估计。我们通过对 COVID-19 患者 Paxlovid 分配的实际研究进行了框架的有效性演示,发现观察到的种族不公平不能用同样重要的观察协变量的未观测混杂因素来解释。
Mar, 2024