通过赌博审计公平性
通过多重假设检验,在统计保证的前提下,使用自助法在子人群的集合中同时限制性能差异,从而识别受模型性能不足影响的子人群并验证模型在某些子人群中的适用性。此外,该方法还兼容超丰富甚至无限的子人群集合,并支持评估在某些分布变化下的性能。
May, 2023
本文介绍了一种基于统计推断的系统的运行时监测技术,该系统具有未知的结构但是被假定为具有马尔可夫链结构。我们引入了一种规范语言,可以模拟许多常见的算法公平性属性,例如人口平均,平等机会和社会负担。使用原型实现,我们展示了如何监测银行在不同社会背景的申请人给予贷款以及学院在保持合理的社会负担的情况下公平地录取学生。
May, 2023
研究 ML 模型的审计算法,通过提出确定性算法和实用的随机化算法来评估 ML 模型的人口统计平等,以帮助监管机构应对机器学习的监管挑战,并为 AI 治理奠定更坚实的理论基础。
Jun, 2022
本文介绍了一个基于交互和隐私保护测试的框架,该框架允许对任何经过训练的模型进行公平程度的认证,无论其训练过程和架构如何,并且提供了一种加密技术来自动进行公平测试和认证推理,同时隐藏参与者的敏感数据。
Sep, 2020
本文提出了一种处理包含连续敏感属性的回归算法中避免敏感信息不公平影响的公平经验风险最小化方法,并将其泛化到标准有监督学习的整个情境中,该方法在进行知名的平等概念的实证风险最小化情境时可以减少公平度量;同时该文构建了一种可以针对内核方法进行共性公平估计的方法,并通过对公共数据集和来自五千名学生的新数据集的实验结果显示其实现了精度和公平要求之间的有效平衡。
Jan, 2019
通过将与预测相关的分布属性纳入考虑,我们扩展了人口平等的概念,允许专家知识在公平解决方案中得到应用,并通过一个工资的实际案例说明了此新度量的使用,同时开发了解决实际挑战的参数方法,提供了一个适用于现实生活中应用场景的强大解决方案。
Oct, 2023
在机器学习中实现公平的系统在长期与人类互动中可能会出现旧的偏见加强甚至出现新的偏见,该研究提出了一种在实时中监测公平性的技术,通过监视长时间的系统事件来及时判断系统当前的公平性,从而建立并部署一个公平性监视器,该监视器是第三方公正的甄别器,能够监测银行的信贷政策或资源分配者的分配政策是否公平。
May, 2023
本文介绍了一种基于自适应浓度不等式的可扩展算法,用于验证机器学习系统在进行社会决策时是否会对少数族裔造成不公平待遇,并在一个名为 VeriFair 的工具中实现了这个算法,并证明该算法能够扩展到大的机器学习模型,包括一个比先前已验证过的神经网络大五个数量级的深度循环神经网络,虽然该技术只提供概率保证,但可以选择非常小的误差概率。
Dec, 2018
我们提出了针对排名模型和回归模型的成对公平度量标准,这些标准类似于统计公平概念,如平等机会、平等准确性和统计平等,通过现有的约束优化和鲁棒优化技术可以有效地解决结果训练问题,实验表明这些方法具有广泛的适用性和权衡性。
Jun, 2019