从软分类器到硬决策:我们能有多公平?
我们提出了一个后处理算法来进行公平分类,通过统一的族群公平度量准则,包括统计平衡、平等机会和平衡赔率,来减轻模型偏差,适用于多类问题和具有属性感知和属性盲的设置。通过使用 “公平代价” 来重新校准给定基准模型的输出分数,它通过线性组合(预测的)群体成员身份来实现公平性。我们的算法是基于一种表达结果的表示方法,该结果表明最优公平分类器可以通过线性后处理损失函数和群体预测器来表示,这是通过将它们用作足够统计量,将公平分类问题重新形式化为线性规划问题来推导出来的。通过解决经验线性规划来估计后处理器的参数。对基准数据集上的实验证明了我们的算法与现有算法相比在减小差异方面的效率和有效性,特别是在更大的问题上。
May, 2024
在群体公平约束下考虑了二元分类问题,通过引入一种新的偏见量度,称为偏见分数,提出了贝叶斯最优分类器的显式特征,并基于该特征开发了一种满足公平约束且保持高准确率的事后方法。该方法在 Adult、COMPAS 和 CelebA 数据集上与内处理和事后处理方法相比性能竞争力更好,不同于大多数事后处理方法,我们在推断时不需要访问敏感属性。
Oct, 2023
该论文研究了机器学习中的公平性问题,提出了在保持公平的前提下如何提高预测模型性能的方法,并且证明了最小误差率可以通过 Wasserstein 平均问题的最优值来计算,从而提出了一种简单的后处理方法来保证模型的公平性。
Nov, 2022
本文研究了在只有保护属性的不完美信息的情况下,公平干预是否仍然可行。我们特别研究了 Hardt 等人(2016)的等化几率后处理方法,证明了在属性扰动的情况下,只要符合我们所确定的条件,即使运行等化几率,分类器的偏差也会降低。我们还研究了所得分类器的误差,并实证观察到,在我们确定的条件下,大多数情况下误差不会因保护属性的扰动而受到影响。
Jun, 2019
本文考虑了在多分类情况下实现公平性的问题,并对基于后处理方法的方法进行了扩展,以实现机器学习分类器的公平性,我们通过系统性的合成实验探讨了该方法何时产生公平和准确的预测,同时在几个公开可用的真实世界应用数据集上评估了有所歧视的公平性权衡。 我们发现,总体上,我们的方法在数据集中的个体数量相对于类别和受保护组的数量较高时,其产生的精度下降微不足道,且强制实施公平。
Jan, 2022
本文通过数千次模型评估,并采用一种叫做 “取消后处理方法” 的简单理念,对多篇针对改进后处理基线的论文进行实证评估,发现在不同的表格数据集上所实现的公平性 - 准确性 Pareto 前沿线包含了所有现有的其他改进方法。作者还纠正了之前的两个常见方法学错误。
Jun, 2023
机器学习算法在受保护群体上可能存在不公平影响。为解决此问题,我们开发了贝叶斯最优公平分类的方法,旨在在给定的群体公平约束条件下最小化分类错误。我们介绍了线性差异度量的概念,这些度量是概率分类器的线性函数;以及双线性差异度量,这些度量也是群体回归函数的线性函数。我们证明了几种流行的差异度量 - 从人口统计平衡、机会平等到预测平等的偏离 - 都是双线性的。我们通过在单一线性差异度量下揭示与 Neyman-Pearson 引理的联系,找到了贝叶斯最优公平分类器的形式。对于双线性差异度量,贝叶斯最优公平分类器变为群体阈值规则。我们的方法还可以处理多个公平性约束(如均衡的几率)以及在预测阶段无法使用受保护属性的常见情况。借助我们的理论结果,我们设计了在双线性差异约束下学习公平贝叶斯最优分类器的方法。我们的方法涵盖了三种流行的公平感知分类方法,包括预处理(公平上采样和下采样),进行中处理(公平成本敏感分类)和后处理(公平插件规则)。我们的方法在实现直接控制差异的同时,实现了接近最优的公平性和准确性权衡。实验证明,我们的方法比现有算法更可取。
Feb, 2024
研究如何在收集敏感属性信息受到禁止或限制的情况下,通过差分隐私算法实现公平学习,并提出两种算法来设计实现,同时保证了差分隐私和均等几率性,讨论这三个性质间的权衡关系。
Dec, 2018
提出了针对群体公平性的后处理缓解技术方法,通过调整基础模型的决策阈值,以提高公平性。在现实应用中,这种方法具有许多优势:后处理不需要访问模型训练流程,对基础模型架构没有偏好,并且计算成本较低。然而,现有方法仍面临其他挑战,如需要推理时了解敏感属性,并且常常被内部处理方法优于。本文提出了一个通用框架,将带有惩罚目标的内部处理方法转化为后处理过程,以克服先前后处理方法的缺点。此外,我们通过理论和对实际数据的大量实验表明,该后处理方法在公平性和错误折衷方面与内部处理相当甚至更好。
Dec, 2023
在这项研究中,我们提出了一种同时具备公平性和校准性的模型构建方法,通过基于温度缩放的简单后处理技术来实现,同时对现有的校准损失函数进行修改以进行组内校准,从而在多种场景下实现公平和校准的模型。
Oct, 2023