Jun, 2024

使用 BRIO 工具评估信用评分中的人工智能公平性

PDF
TL;DR我们提出了一种定量，深入分析 AI 系统中的公平问题的方法，并将其应用于信用评分。我们使用了 BRIO 工具来评估 AI 系统在社会不公正和道德上不可取行为方面的情况，其中包括了一个模型无关的偏见检测模块和一个完整的不公平风险评估模块。我们分析了 UCI 德国信用数据集，将 BRIO 的公平度量应用于德国信用数据集中的多个社会敏感属性，量化了各种人口统计分布中的公平性，旨在确定信用评分模型中潜在的偏见和歧视来源。最后，我们将研究结果与收入分析相结合。
fairnessai systemscredit scoringbriounfairness risk evaluation
发现论文，激发创造
  • 公平信貸評分的算法決策方法

    本研究探讨了 12 种顶级的偏差缓解方法，讨论其性能，基于 5 种不同的公平度量标准、实现的准确性和金融机构的潜在利润。我们的研究结果表明，在保留准确性和利润的前提下实现公平存在困难，同时突出了一些最佳和最差的表现，并有助于实验机器学习和其工业应用之间的联系。

    Sep, 2022

  • 针对监督学习模型的个体不公平性识别、测量和缓解以及其在信用风险模型中的应用

    本文旨在通过实现一个两步训练过程来识别和减轻个人不公平，并利用最近在此领域发表的一些技术，特别是在信贷审批用例中适用的技术。我们还调查了实现个人公平性的技术在实现团体公平性方面的有效程度以及提出了第二度量标准来确定模型如何公平地处理类似的个体，最后呈现了一些与个人不公平减轻技术相关的实验结果。

    Nov, 2022

  • 信用评分中的公平性：评估、实施和利润影响

    本研究探讨公平机器学习在征信评分中的应用，介绍了统计公平性准则、机器学习模型中公平性目标的算法选择，使用实际数据实证比较了不同的公平性处理器，发现多种公平性准则可以同时得到满足，提出分离度作为评估公平性的准则，证明了公平性处理器能在利润与公平性中找到一个良好的折中点，可以以较低的成本将算法歧视降低到合理的水平。

    Mar, 2021

  • 公平信用评分的分布鲁棒优化方法

    应用分布鲁棒优化方法 (DRO) 研究信用评分，评估其在公平性、正确分类能力和解决边际比例变动时解决方案的稳健性方面的表现，结果显示 DRO 方法在公平性方面有显著改进，并且几乎不损失性能。但需要进一步完善有效实施这些系统。研究还指出，在信用评分环境中，许多常用的公平性指标并不适用，因为它们依赖于分类阈值的选择。

    Feb, 2024

  • AI 偏见探索的标准化方向

    创建公平的 AI 系统是一个复杂的问题，涉及评估上下文相关的偏见问题。本文提出了一个数学框架，将偏见的文献度量指标化为构建模块，从而促进涵盖广泛公平问题的新组合，我们还提供了一个名为 FairBench 的 Python 库，用于有系统且可扩展地探索潜在的偏见问题。

    May, 2024

  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • 机器学习模型中的偏见和不公平性：系统性文献综述

    本研究旨在检查现有知识中关于机器学习模型中的偏见和不公平的研究，并识别减弱算法不公平和偏差的方法、公平性度量和支持工具。经过系统文献综述，发现了 40 篇可用于 Scopus、IEEE Xplore, Web of Science 和 Google Scholar 知识库的文章。结果表明，针对 ML 技术的多种偏见和不公平检测与减轻方法，在文献中定义了明确的度量标准，可以突出不同的度量标准。因此建议进一步研究，以定义在每种情况下应采用的技术和指标，以标准化并确保机器学习模型的公正性，从而允许最适当的度量标准来检测偏见和不公平。

    Feb, 2022

  • 公平性评分和流程标准化：人工智能系统公平认证框架

    本文提出了一种新的公平得分和标准操作程序，用于发放公平认证，以确保人工智能系统是公平的，避免偏见、提高可信度。发放公平认证在商业部署中具有操作框架和促进公平概念的优点。通过多个数据集迭代培训模型并比较受保护属性中的比较偏见，验证了提出的框架的正确性。

    Jan, 2022

  • AI Fairness 360: 检测、理解和缓解不良算法偏差的可扩展工具包

    介绍了一种新的开源 Python 工具包 - AI Fairness 360 (AIF360)，用于支持决策性应用程序的算法公平性，该工具包包括公平度量标准、算法对数据集和模型执行偏差检测和修复以及参考指南和教程。

    Oct, 2018

  • COMPAS 繁琐：RAI 数据集与算法公平基准之间的混乱关系

    利用风险评估工具数据集（RAI），特别是 ProPublica 的 COMPAS 数据集来比较算法性能是常见的，然而我们发现这些数据集可能会存在大量的测量偏差和错误，而且算法公平性应用于 RAI 数据集在对现实世界结果提出要求时具有局限性。此外，如何进行算法公平性实践是受到了对公平，正义和平等价值观的透明参与的影响，而且这些因素引出了一个问题，即这些在本质上是社会技术系统的基准是否可以以有益和合乎道德的方式存在。

    Jun, 2021