使用透明模型决策树作为基准，研究提出了一种新的测度指标验证 XAI 方法的准确性，结果显示了现有的测度指标在真实场景中不可靠，并建议开发新的指标以解决这些问题。

Jan, 2024

评估可解释人工智能方法与其基础模型的逼真度是一项具有挑战性的任务，本研究通过引入三个可靠的解释基准数据集，对当前最先进的可解释人工智能方法进行公平客观的比较，以识别逼真度较低的方法，并将其排除在进一步研究之外，促进了更可靠和有效的可解释人工智能技术的发展。研究结果表明，基于输出信息反向传播到输入的可解释人工智能方法相比于基于敏感性分析或类激活模式的方法具有更高的准确性和可靠性，但反向传播方法往往会生成更多噪声显著图。这些发现对于可解释人工智能方法的进展具有重要意义，可以消除错误的解释，促进更健壮可靠的可解释人工智能的发展。

Nov, 2023

本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法（如随机显著性图）上的应用结果，结果表明其中一些指标会产生高度相关的结果，还展示了基准超参数变化对评估指标值的显著影响，最后使用虚拟方法评估指标的可靠性及其排名方面的限制。

May, 2023

通过对情感分析、意图检测和主题标记等三个自然语言处理任务中选定的易解释算法与专家解释方法的综合定量比较，我们的研究表明，传统的基于扰动的方法 Shapley value 和 LIME 可以同时实现更高的准确度和用户可访问性，与模型的推理过程、领域专家一致的解释方式。这一发现提示我们在优化解释算法时应当以双重目标为导向，以实现准确度和用户可理解性的双重提高。

Mar, 2024

我们提出了一种新的评估方法，用于基准测试最先进的可解释 AI 归因方法，该方法由合成的分类模型及其衍生的地面实况解释组成，该方法提供了关于 XAI 方法输出的更深入的洞察。

Aug, 2023

机器学习模型解释学（即可解释性 AI）的研究与深度人工神经网络同步呈指数增长，但传统的信任和解释却太狭隘，导致研究社区被误导。该研究提出了一种实用的解决方案，建议研究人员关注机器学习解释的实用性而非信任，提出五种广泛的用例，并为每种情况描述可依靠客观经验测量和可证伪假设的伪实验。该实验严谨的处理方法将对 XAI 领域的科学知识的进一步贡献是必要的。

Sep, 2020

本文探讨不同非线性分类场景下，解释性人工智能模型的表现，并通过一系列实验测试发现，当前流行的 XAI 方法往往无法显著提高准确性基线和边缘检测方法，甚至在不同模型结构下产生非常不同的解释，存在误解的风险。

Jun, 2023

本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

Dec, 2020

提出了一种名为 Compare-xAI 的基准测试框架，该框架统一了 xAI 算法的所有排他性功能测试方法，帮助研究人员、从业人员和普通人解释模型结果，同时提供了可互动的用户界面。

Jun, 2022

本文介绍了使用规范方程代表解释的方法，以解决可解释的人工智能和可解释的机器学习方法面临的挑战，并提出使用合成数据来评估模型准确性的方法。

Nov, 2020