May, 2024

线性后处理的最佳组公平分类器

PDF
TL;DR我们提出了一个后处理算法来进行公平分类，通过统一的族群公平度量准则，包括统计平衡、平等机会和平衡赔率，来减轻模型偏差，适用于多类问题和具有属性感知和属性盲的设置。通过使用 “公平代价” 来重新校准给定基准模型的输出分数，它通过线性组合（预测的）群体成员身份来实现公平性。我们的算法是基于一种表达结果的表示方法，该结果表明最优公平分类器可以通过线性后处理损失函数和群体预测器来表示，这是通过将它们用作足够统计量，将公平分类问题重新形式化为线性规划问题来推导出来的。通过解决经验线性规划来估计后处理器的参数。对基准数据集上的实验证明了我们的算法与现有算法相比在减小差异方面的效率和有效性，特别是在更大的问题上。
发现论文，激发创造
  • 通过后处理预测器实现公平且最优分类

    该论文研究了机器学习中的公平性问题，提出了在保持公平的前提下如何提高预测模型性能的方法，并且证明了最小误差率可以通过 Wasserstein 平均问题的最优值来计算，从而提出了一种简单的后处理方法来保证模型的公平性。

    Nov, 2022

  • 后期偏倚评分在公平分类中的最优选择

    在群体公平约束下考虑了二元分类问题，通过引入一种新的偏见量度，称为偏见分数，提出了贝叶斯最优分类器的显式特征，并基于该特征开发了一种满足公平约束且保持高准确率的事后方法。该方法在 Adult、COMPAS 和 CelebA 数据集上与内处理和事后处理方法相比性能竞争力更好，不同于大多数事后处理方法，我们在推断时不需要访问敏感属性。

    Oct, 2023

  • 通过预处理、中处理和后处理实现具有线性差异约束的贝叶斯最优公平分类

    机器学习算法在受保护群体上可能存在不公平影响。为解决此问题，我们开发了贝叶斯最优公平分类的方法，旨在在给定的群体公平约束条件下最小化分类错误。我们介绍了线性差异度量的概念，这些度量是概率分类器的线性函数；以及双线性差异度量，这些度量也是群体回归函数的线性函数。我们证明了几种流行的差异度量 - 从人口统计平衡、机会平等到预测平等的偏离 - 都是双线性的。我们通过在单一线性差异度量下揭示与 Neyman-Pearson 引理的联系，找到了贝叶斯最优公平分类器的形式。对于双线性差异度量，贝叶斯最优公平分类器变为群体阈值规则。我们的方法还可以处理多个公平性约束（如均衡的几率）以及在预测阶段无法使用受保护属性的常见情况。借助我们的理论结果，我们设计了在双线性差异约束下学习公平贝叶斯最优分类器的方法。我们的方法涵盖了三种流行的公平感知分类方法，包括预处理（公平上采样和下采样），进行中处理（公平成本敏感分类）和后处理（公平插件规则）。我们的方法在实现直接控制差异的同时，实现了接近最优的公平性和准确性权衡。实验证明，我们的方法比现有算法更可取。

    Feb, 2024

  • 从软分类器到硬决策：我们能有多公平？

    研究二进制决策制定分类器在存在不完美信息的情况下的流行方法是首先建立非二进制的 “评分” 分类器，该分类器在所有受保护的组中进行了校准，然后对该分数进行后处理以获得二进制决策。我们研究通过后处理校准分数实现各种公平性属性的可行性，然后表明推迟后处理器可以使更多的公平条件在最终决策上得以保持。

    Oct, 2018

  • 多类公平的黑盒后处理

    本文考虑了在多分类情况下实现公平性的问题，并对基于后处理方法的方法进行了扩展，以实现机器学习分类器的公平性，我们通过系统性的合成实验探讨了该方法何时产生公平和准确的预测，同时在几个公开可用的真实世界应用数据集上评估了有所歧视的公平性权衡。 我们发现，总体上，我们的方法在数据集中的个体数量相对于类别和受保护组的数量较高时，其产生的精度下降微不足道，且强制实施公平。

    Jan, 2022

  • 公平回归的差分私有后处理

    该研究提出了一种差分隐私的后处理算法，用于学习满足统计平等的公平回归器，解决了机器学习模型在敏感数据上训练时的隐私问题和其传播历史偏见的公平问题，并提供了算法的样本复杂性和公平性保证，揭示了在直方图中选择的箱数的选择对于统计偏倚和方差之间的权衡，其中使用较少的箱数总是以错误为代价倾向于公平性。

    May, 2024

  • 具有重叠分组的公平性

    通过概率人群分析，我们重新审视标准的公平分类问题，并揭示出贝叶斯最优分类器。我们的方法统一了各种现有的组公平分类方法，并扩展到各种不可分解的多类性能度量和公平性度量。在各种真实数据集上，我们提出的方法在公平性与性能的权衡方面优于基线。

    Jun, 2020

  • 无算法公平的七年回溯

    本文通过数千次模型评估，并采用一种叫做 “取消后处理方法” 的简单理念，对多篇针对改进后处理基线的论文进行实证评估，发现在不同的表格数据集上所实现的公平性 - 准确性 Pareto 前沿线包含了所有现有的其他改进方法。作者还纠正了之前的两个常见方法学错误。

    Jun, 2023

  • 不完美群体信息下的均等准确率后处理

    本文研究了在只有保护属性的不完美信息的情况下，公平干预是否仍然可行。我们特别研究了 Hardt 等人（2016）的等化几率后处理方法，证明了在属性扰动的情况下，只要符合我们所确定的条件，即使运行等化几率，分类器的偏差也会降低。我们还研究了所得分类器的误差，并实证观察到，在我们确定的条件下，大多数情况下误差不会因保护属性的扰动而受到影响。

    Jun, 2019

  • FRAPPÉ: 一个适用于群体公平约束的后处理框架

    提出了针对群体公平性的后处理缓解技术方法，通过调整基础模型的决策阈值，以提高公平性。在现实应用中，这种方法具有许多优势：后处理不需要访问模型训练流程，对基础模型架构没有偏好，并且计算成本较低。然而，现有方法仍面临其他挑战，如需要推理时了解敏感属性，并且常常被内部处理方法优于。本文提出了一个通用框架，将带有惩罚目标的内部处理方法转化为后处理过程，以克服先前后处理方法的缺点。此外，我们通过理论和对实际数据的大量实验表明，该后处理方法在公平性和错误折衷方面与内部处理相当甚至更好。

    Dec, 2023