介绍了 OpenXAI—— 一种全面的且可扩展的开源框架，用于评估和基准测试事后解释方法。 OpenXAI 包括一个灵活的合成数据生成器和各种真实世界数据集，预先训练的模型和最先进的特征归因方法的集合，以及评估解释方法准确性、稳定性和公平性的 22 种定量度量的开源实现，并且该框架还包含公开的 XAI 排行榜，用于基准测试解释方法。

Jun, 2022

介绍了一种新的开源 Python 工具包 - AI Fairness 360 (AIF360)，用于支持决策性应用程序的算法公平性，该工具包包括公平度量标准、算法对数据集和模型执行偏差检测和修复以及参考指南和教程。

Oct, 2018

本文回顾了以往提出的公正度量标准，并讨论了绩效基准框架以及替代度量标准的评估。

Jul, 2021

通过发布一套合成数据集及相应的特征归因（feature attribution）算法基准测试库 XAI-Bench，可以有效评估和比较不同的特征归因方法，解决了在检验真实数据集上评估模型可解释性的难题。

Jun, 2021

数据驱动的软件解决方案在对社会经济、法律和道德产生重大影响的关键领域得到了广泛应用。然而，数据驱动解决方案的快速采用对自动化决策支持软件的可信度构成了重大威胁。本研究提出了一种名为 oolname 的调试工具，用于测试和解释数据驱动解决方案的公平性影响。该工具可视化给定数据点的数据集逻辑、已训练模型和决策过程，并训练具有不同公平性 - 准确性权衡的各种模型。关键是， oolname 还包括反事实公平性测试，以发现超越开发数据集的错误。我们通过 oolname 进行了两项研究，以衡量普遍的反事实测试中的误报 / 漏报，并理解类别调查中对反事实测试案例的人类感知。 oolname 及其基准测试数据可在此 https URL 上公开获取。工具的在线版本可在此 https URL 上访问。我们还提供了该工具的视频演示，地址为此 https URL。

Jul, 2024

fairlib 是一个开源框架，旨在评估和提高分类公平性，内置 14 种去偏差方法和常用公平性指标，可用于自然语言、图像和音频等多种输入类型的公平性评估。

May, 2022

该研究介绍了 MEDFAIR 框架，可以用于医学成像机器学习模型的公平性评估和算法的基准测试，通过实验发现模型选择标准可以对公平性结果产生重要影响，并在不同的应用场景和伦理原则下提供了建议。

Oct, 2022

本文提出了一个数据基准，用于评估预训练的语言模型在下游任务中的公平性，包括四个司法管辖区（欧洲理事会、美国、瑞士和中国）、五种语言（英语、德语、法语、意大利语和汉语）以及五个属性的公平性（性别、年龄、地区、语言和法律领域），并通过几种群组鲁棒性的微调技术评估预训练的语言模型，发现在许多情况下，绩效群体差异非常明显，而这些技术均不能保证公平性，并且不能一致地减少群体差异，此外，对结果进行了定量和定性分析，并强调法律 NLP 鲁棒性方法发展中存在的挑战。

Mar, 2022

该研究论文介绍了一个旨在改善复杂机器学习模型可解释性的解释性人工智能（XAI）领域的发展趋势，并提出了一个初始的基准测试平台 EXACT，该平台结合了各种基准数据集和新颖的性能评估指标，为评估 XAI 方法提供了一个标准化的基础。

May, 2024

本研究讨论了预测模型在预测、公平性和一致性方面的问题，介绍了一个名为 'dalex' 的 Python 包，提供了对机器学习模型的交互式探索，以实现深度透明度和合理的机器学习模型。

Dec, 2020