Oct, 2020

如何评估公平度？无标签数据和贝叶斯推断的公平度度量信任性评估

PDF
TL;DR使用贝叶斯框架对少量带有标签的数据进行无标签数据增强，以更准确低偏差的方式评估群组公平问题，鉴于标签样本，我们提议使用一种层次潜在变量模型，估计每组未标记样本的校准得分，并证明了我们的方法在多个公平数据集，敏感属性和预测模型中具有显著的一致的估计误差降低，表明了使用无标签数据和贝叶斯推理的好处来评估预测模型的公平性。
发现论文，激发创造
  • 无标记数据在公平决策中的应用

    该论文提出了一种基于变分自编码器的新方法，用于实现公平的决策制定，通过使用标记和未标记数据来学习无偏见的数据表示并在在线过程中使用这些表示来学习决策策略，实现了较低方差的最优（公平）政策，并比以前的方法提供了更高的公平性和效用。

    May, 2022

  • 公平性评估中的不确定性：尽管波动仍能保持稳定的结论

    文章提出了一个新的评估算法性能及公平性指标的贝叶斯框架 ——“不确定性事关框架”，可以用于稳定的偏见感知性能评估，并在 K 折交叉验证过程中进行了应用。实验结果表明，相比于经典的评估框架，该方法在信息和稳定性方面有更大的优势。

    Feb, 2023

  • 利用标记和未标记的数据进行一致性公平二元分类

    研究二分类问题中的公平问题，通过使用 “Equal Opportunity”，确保真正的阳性率在敏感组中分布均匀。通过重新校准贝叶斯分类器，获得公平最优分类器。提供了一组门槛的构造表达式，并基于无标签和有标签的数据集设计了一个插件分类过程，可以计算公平错误，同时在公平度量上保持统计一致性。

    Jun, 2019

  • 测量不确定性下分类器的公平性使用 Bernstein Bounds

    使用 Bernstein 界限来表示关于偏差估计的不确定性，从而帮助防止分类器被认为是有偏见或无偏见，当没有足够的证据来做出任何一个主张。

    Apr, 2020

  • 贝叶斯公平性

    本文从贝叶斯公平的角度探讨了在决策中如何解决模型不确定性带来的不公平问题，并介绍了将参数不确定性纳入机器学习公平性的新概念。结合 Kleinberg 等人提出的公平定义，研究表明贝叶斯公平能产生在高度不确定性下性能好的公平决策规则。

    May, 2017

  • 数据受限二元分类中平衡公平性与准确性

    在处理敏感信息的应用程序中，数据限制可能会对机器学习（ML）分类器的可用数据施加限制，本文提出了一个框架，模拟了在四种实际情景下准确性和公平性之间的折衷，以确定在各种数据限制情况下，贝叶斯分类器的准确性受到的影响是如何的。

    Mar, 2024

  • 不完整判断情况下公平排名度量方法估算

    为应对个人受保护属性标签稀缺的大规模系统，本研究提出了采样策略和评估技术以对四种公平排名度量进行测量，并形成一个强大而无偏的估算器。实验结果证明了该方法的可行性和可靠性。

    Aug, 2021

  • 关于在数据偏差下测试和比较公平分类器

    本文针对注入数据偏差的理论模型，从理论和经验上研究了它对公平分类器准确性和公正性的影响，并证明了在重新加权偏差注入分布上最小化选择精心挑选的重加权损失可以恢复原始数据分布上的贝叶斯最优组感知公平分类器。通过广泛的实验，我们检查了标准公平工具包中的预处理公平分类器在训练数据注入不同程度的偏差时的公平性和准确性，并发现少量简单公平技术，如重新加权、指数梯度，在其训练数据注入欠代表性和标签偏差时也可以提供稳定的准确度和公平性保证。

    Feb, 2023

  • 具有重叠分组的公平性

    通过概率人群分析，我们重新审视标准的公平分类问题，并揭示出贝叶斯最优分类器。我们的方法统一了各种现有的组公平分类方法，并扩展到各种不可分解的多类性能度量和公平性度量。在各种真实数据集上，我们提出的方法在公平性与性能的权衡方面优于基线。

    Jun, 2020

  • 从数据学习个体公平度量的两种简单方法

    本研究提出了两种简单的方法，从多种数据类型中学习公平指标，经实验证明使用学习到的指标进行公平训练可以在三种机器学习任务中有效减少性别和种族偏见，同时也提供了关于统计性能的理论保证。

    Jun, 2020