Jun, 2021

COMPAS 繁琐：RAI 数据集与算法公平基准之间的混乱关系

PDF
TL;DR利用风险评估工具数据集（RAI），特别是 ProPublica 的 COMPAS 数据集来比较算法性能是常见的，然而我们发现这些数据集可能会存在大量的测量偏差和错误，而且算法公平性应用于 RAI 数据集在对现实世界结果提出要求时具有局限性。此外，如何进行算法公平性实践是受到了对公平，正义和平等价值观的透明参与的影响，而且这些因素引出了一个问题，即这些在本质上是社会技术系统的基准是否可以以有益和合乎道德的方式存在。
risk assessmentalgorithmic fairnessmeasurement biasescriminal justicenormative considerations
发现论文，激发创造
  • 风险评估工具中的公平性：后处理实现反事实平等几率

    本文提出了一种通过 Doubly Robust 估计器扩展并调整之前的后处理方法来预测反事实情形下的公平解释器的方法，并提供了任意定制后处理解释器的风险和公平性的 Doubly Robust 估计器。其结果可以更好地应用于 Risk Assessment Instruments 这样的领域。

    Sep, 2020

  • 刑罚再犯预测中的算法偏见：因果视角

    本文分析了一个犯罪预测软件工具 (COMPAS) 对美国非裔被告的偏见，使用因果推断方法来估算算法公平性的因果相关性测量指标 (FACT)，得出了 COMPAS 在预测中存在着对非洲裔被告的种族偏见，并且其估算结果对未测量到的混淆因素具有鲁棒性。

    Nov, 2019

  • 公平度指标：比较分析

    该研究利用一个数学框架描述了公平性评估中一些常用的指标，探讨了它们之间的关系，为算法开发者和用户提供指导。

    Jan, 2020

  • COMPAS 数据集中群体之间的可靠性差距

    通过对 COMPAS 数据集的模拟研究，本文调查了风险评估工具（RAIs）的评估者间的一致性，发现不同群体在 RAIs 的评估者间不一致性方面存在系统差异。

    Aug, 2023

  • 再犯预测中保密和不公时代的到来

    我们的研究旨在解决现代社会中的问题：即不能透明化的算法会导致错误的结论，而透明化可以更好地保证公平和公正。我们通过对一个包括年龄和种族在内的偏差算法的反向工程分析，发现了数据不一致的情况，从而对于透明化趋势的影响进行了讨论。

    Nov, 2018

  • 关于具有公平性、隐私和监管规范的负责任机器学习数据集

    在当前人工智能时代，本研究讨论了负责任的机器学习数据集的重要性，并提出了一个评估数据集的负责任框架。通过公平性、隐私保护和合规性等方面的考虑，我们分析了超过 100 个数据集，发现没有一个数据集能免于公平性、隐私保护和合规性问题。我们对数据集的文档化提供了改进建议，并认为在全球范围内的数据保护法规定下，科学界的数据集创建方法需要修订。

    Oct, 2023

  • 关于公平感知机器学习数据集的调查

    本文概述了应用于公平感知机器学习中的真实世界数据集，并使用贝叶斯网络分析数据特征之间的关系，进一步进行了探索性分析。

    Oct, 2021

  • 反事实风险评估、评价和公平性

    本文提出了针对算法风险评估工具的反事实度量方法，并使用双重稳健估计方法估算反事实度量。作者提出的度量方法更适合在决策上下文中使用；因此，纵观标准公平度量和反事实度量，两者仅在特定条件下才能同时成立，本文提供了理论结果和实证结果以证明他们的方法优于标准做法。

    Aug, 2019

  • 重新审视 ProPublica 的 COMPAS 数据

    研究了 ProPublica 2016 年收集的 COMPAS 犯罪史和再次犯罪风险评分数据，发现数据处理错误导致重新划分 COMPAS 筛查日期后，此数据集中的再次犯罪率人为高估了超过 24％，并影响了阳性和阴性预测值。

    Jun, 2019

  • 机器学习中促进公平的干预措施比较研究

    本篇研究通过开发公开基准来对不同的公平性增强算法进行比较，并发现许多公平性措施之间具有强烈的相关性，但这些措施也对数据集构成的波动敏感，这表明公平干预可能比以前认为的更脆弱。

    Feb, 2018