Jan, 2023

公平分类中的方差、自一致性和任意性

PDF
TL;DR本文介绍了一种关于在公平分类中使用集成算法，解决分类结果不稳定导致任意性和观点关于公平性的不可靠等问题。实验结果表明，我们的方法可以显著降低子组误差率差异，无需使用常见的公平性干预措施。
fair classificationvarianceself-consistencyensembling algorithmsubgroup error rate disparities
发现论文，激发创造
  • 公平与稳定性：估计方差是朋友还是敌人？

    本文讨论了估计器误差分解中的偏差项、方差项和不可避免噪声项， 研究了社会特权和社会劣势群体的公平性问题，并提出了一种基于组间方差的性能度量方法。同时，研发了一个开源库，将不确定性量化技术与公平性分析融合，并在标准基准测试上对基于方差的公平性度量方法进行了全面的实证分析。

    Feb, 2023

  • 任意性超越公平 - 准确度前沿线

    机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

    Jun, 2023

  • 公正和校准

    本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系，并表明校准只与单一误差约束兼容。

    Sep, 2017

  • 我的分类器为什么具有歧视性？

    针对敏感应用如医疗保健或刑事司法等领域，本研究旨在解决在预测模型中公平性与准确性的平衡问题，并提出，应该在数据的背景下评估预测结果的公平性，并通过数据收集来解决样本大小或未测量的预测变量所带来的不公平性，同时通过将成本基准的歧视度量分解为偏差，方差和噪音，并提出旨在估计和减少每个术语的行动。最后，本文以收入，死亡率和审查等领域的预测为案例研究，确认这种分析方法的价值，并发现数据收集通常是减少歧视而不牺牲准确性的手段。

    May, 2018

  • 关于机器学习随机性对群体公平性的影响

    探究机器学习中算法跨不同组别表现差异的群体公平性的统计度量，发现这些度量在不同训练实例之间存在高方差，从而使得它们无法提供可靠的公平性实证评估。研究表明，群体公平性度量的方差来源于在少数群体上的学习过程的高波动性，而数据顺序的随机性被认为是主要的随机性源。基于这些发现，我们展示如何通过在单个时期改变数据顺序来控制群体级准确性（即模型公平性），高效并对模型整体性能影响微乎其微。

    Jul, 2023

  • 关于算法决策中的公正性、多样性和随机性

    在二元决策过程中，一个机器学习分类器取代了多个人类，并引发了问题，我们讨论了在决策过程中多样性的损失。我们研究了在关注公平学习的情况下使用随机分类器集合而不是单个分类器可能带来的潜在好处，并展示了各种有吸引力的属性：（i）一组公平的分类器可以保证公平，适用于多种不同的公平度量，（ii）一组不公平的分类器仍然可以实现公平结果，（iii）分类器集合可以实现比单个分类器更好的准确性 - 公平性权衡。最后，我们引入了分布公平的概念，以更好地描述随机分类器集合的潜在好处。

    Jun, 2017

  • 更公平、更准确，但为谁而做？

    该论文介绍了一种比较不同风险评估模型公平性的框架，特别关注与种族和性别的不平等问题，以预测再犯率和贷款为例进行实验。

    Jun, 2017

  • 公平性的测度和误测：公平机器学习的关键综述

    公平机器学习的早期专注是确保由算法指导的决策是公平的，三个公平定义引起了人们的关注，即反分类，分类平衡和校准，但这三个公平定义都有重大的统计局限性。相比之下，我们认为更倾向于根据最准确的风险估计对类似风险的人进行相似的处理，而不是一定要满足公平的数学定义，并强调这种方法需要大量的努力来构建适当的风险估计。

    Jul, 2018

  • 消除 “偏见” 测量中的偏差

    通过数学和模拟，作者表明现有的用于测量群体间的模型性能差异的度量大多是基于统计偏差的估计量，因此提出了一种 “双校正” 方差估计器，提供了模型性能在群体间变化的无偏估计和不确定性量化，这种方法在现实数据集上的应用表明，在统计偏差的影响下，群组间的性能差异不再显著。

    May, 2022

  • 公平约束：公平分类的机制

    该研究引入了一种灵活的机制，以设计公平的分类器，其中利用了一种新颖的、直观的决策边界（不）公平度量，并结合实际的数据表明，该机制在维持准确度的小代价下，允许对公平度进行微调。

    Jul, 2015