Feb, 2023

关于在数据偏差下测试和比较公平分类器

PDF
TL;DR本文针对注入数据偏差的理论模型，从理论和经验上研究了它对公平分类器准确性和公正性的影响，并证明了在重新加权偏差注入分布上最小化选择精心挑选的重加权损失可以恢复原始数据分布上的贝叶斯最优组感知公平分类器。通过广泛的实验，我们检查了标准公平工具包中的预处理公平分类器在训练数据注入不同程度的偏差时的公平性和准确性，并发现少量简单公平技术，如重新加权、指数梯度，在其训练数据注入欠代表性和标签偏差时也可以提供稳定的准确度和公平性保证。
发现论文，激发创造
  • 公平约束对偏见数据恢复的辅助程度有多大？

    通过阈值为基础的最优公平分类器的特征，本文给出了 Blum & Stangl (2019) 结果的另一证明，并证明了其对于偏倚参数的条件既是必要的又是充分的。此外，我们还证明了对于任意数据分布，只要优化准确分类器在假设类别中是公平和稳健的，那么在偏倚分布上进行公平分类就可以恢复该分类器，前提是偏倚参数满足一定的简单条件。

    Dec, 2023

  • 机器学习中识别和纠正标签偏差

    本文提出了一种数学公式来证明数据集中的偏见对分类器的影响，通过无需改变标签来重新计算数据点的值，从而得到一个无偏分类器，这种方法可以在各种机器学习算法中使用，并实现了公平分类的目标。

    Jan, 2019

  • 如何恢复有偏数据：公平约束是否能提高准确性？

    考虑机器学习分类器对不同民族、群体的不公平对待问题，本文提出了公正约束的多种方式，以及带有偏见的训练数据对分类器性能的影响，并探讨了如何利用公正约束的 Empirical Risk Minimization 算法来调整分类器以达到公平与精确度的平衡。具体而言，在选择 Equal Opportunity 以及使用 ERM 算法时能够达到 Bayes Optimal Classifier。

    Dec, 2019

  • 数据受限二元分类中平衡公平性与准确性

    在处理敏感信息的应用程序中，数据限制可能会对机器学习（ML）分类器的可用数据施加限制，本文提出了一个框架，模拟了在四种实际情景下准确性和公平性之间的折衷，以确定在各种数据限制情况下，贝叶斯分类器的准确性受到的影响是如何的。

    Mar, 2024

  • 如何做到公平？对标签和选择偏差的研究

    存在情况下，偏见缓解技术能够更准确的模型，在无偏数据上测量时。我们通过对偏见类型和缓解技术的效果建立关系来解决这一问题，并用理论分析来解释实验结果，并展示最小化公平度量并不一定会产生最公平的分布。

    Mar, 2024

  • 来自带偏见数据的公平机器学习中的残留不公平

    研究公平机器学习时，为达到公平，可以通过在不同群体之间平衡度量指标，并研究历史偏见对数据集的影响，然而在训练有偏倚策略的数据时，可能会导致调整后的预测器在目标人群中并不公平，从而引起剩余不公平。 使用样本重新加权来估算和调整公平度量标准，以制定出更公平的机器学习算法。

    Jun, 2018

  • 关于对抗偏差和公正机器学习的鲁棒性

    为保证公正性，公平机器学习算法致力于消除不同群体间的行为差异，但是研究表明，在训练数据存在偏差的情况下，将同等的重视不同规模和分布的不同群体，可能会与鲁棒性相冲突，攻击者可以通过对样本和标签的控制来攻击群体公平性机器学习，从而在测试数据上显著降低测试准确率，本文评估了多种算法和基准数据集的攻击，分析了公平机器学习的鲁棒性。

    Jun, 2020

  • 一种分布鲁棒的公平分类方法

    提出了一种具有不公平惩罚的分布鲁棒逻辑回归模型，可以使用 Wasserstein ball 来对分布不确定性进行建模以实现公平机会并提高公平性。

    Jul, 2020

  • 公平分类：纠正样本差异和交叉偏见

    研究了在存在样本筛选偏差的情况下，通过一种小样本无偏估计方法和重新加权方案，来有效评估基于真实分布的假设的风险，以及解决交叉组成员计算困难的问题。

    Jun, 2023

  • 一个沙盒工具用于偏差（压力）测试公平算法

    提出使用偏见注入沙盒工具实现对不同类型偏见的公平后果检测，并通过合成数据的实证分析展示其应用价值。

    Apr, 2022