公正性测试：为检测软件的歧视性而生
本文介绍了一种名为 themis-ml 的公平性感知机器学习接口，可以帮助数据科学家和工程师更好地理解和降低社会敏感数据中的隐式历史偏见。
Oct, 2017
该研究提出了一种基于语法的公平性测试方法（称为 ASTRAEA），它利用上下文无关语法生成具有歧视性的输入，从而揭示软件系统中的公平性违规，并通过模型再培训使软件的公平性提高了约 76％。
Oct, 2020
人工智能（AI）在招聘、金融、医疗和司法等领域展示了卓越的能力，然而，AI 系统的偏见引发了伦理和社会关切，强调了有效的公平性测试方法的必要性。本文回顾了当前关于公平性测试的研究，特别是其通过基于搜索的测试的应用。我们的分析突出了在解决 AI 系统偏见方面的进展和改进领域。未来的研究应专注于利用已建立的基于搜索的测试方法学进行公平性测试。
Nov, 2023
AEQUITAS 是一种自动化技术，可以发现系统内机器学习模型对待敏感输入的不公平性，使用概率搜索和测试用例生成等策略，生成能够检测不公平性的测试用例，并使用这些测试用例来提高模型的公平性，AEQUITAS 技术的实验表明，最多可提高 94% 的公平性。
Jul, 2018
随着人工智能在影响人类和社会的决策中扮演越来越重要的角色，自动化决策系统的问责制越来越受到研究人员和从业者的关注。然而，在评估公平性方面，文献中存在着大量采用不同视角和假设的公平度量标准，这通常是不兼容的。本文提出了一个新的等混乱公平测试来检查自动化决策系统的公平性，并提出了一个新的混淆平等误差来量化任何不公平性的程度。通过对自动化决策系统 COMPAS 进行案例研究，证明了这里提供的测试、度量和事后分析的实用性。
Jul, 2023
本文综述了关于如何消除历史数据中偏见和歧视对预测模型造成的影响的研究，包括综述了各种可用于测量数据中歧视的方法和评估反歧视预测模型性能的措施，并提出了非歧视性预测建模的实践建议。
Oct, 2015
该研究对机器学习分类器的 17 种生动代表性偏差缓解方法进行了综合性的实证研究，在 8 种广泛采用的软件决策任务中应用了 11 种 ML 性能度量（例如，准确性）、4 种公平度量以及 20 种公平 - 性能权衡评估。在分析过程中，作者发现，无法在所有情境下达到最佳公平 - 性能平衡。
Jul, 2022
针对敏感应用如医疗保健或刑事司法等领域，本研究旨在解决在预测模型中公平性与准确性的平衡问题，并提出，应该在数据的背景下评估预测结果的公平性，并通过数据收集来解决样本大小或未测量的预测变量所带来的不公平性，同时通过将成本基准的歧视度量分解为偏差，方差和噪音，并提出旨在估计和减少每个术语的行动。最后，本文以收入，死亡率和审查等领域的预测为案例研究，确认这种分析方法的价值，并发现数据收集通常是减少歧视而不牺牲准确性的手段。
May, 2018
本文旨在调查研究自动化决策系统中机器学习算法存在的偏差及其与公平、隐私和分类准确性之间的关系，并综述了处理公平 - 准确性权衡的不同方法。作者通过实验分析了公平度量和准确度在现实世界场景中的关系。
Sep, 2022