深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

Oct, 2023

本研究提出了一种生成具有真实标准数据集的新方法来衡量可解释人工智能的解释质量，并通过实验证明了该方法的正确性。

Feb, 2023

我们提出了一种新的评估方法，用于基准测试最先进的可解释 AI 归因方法，该方法由合成的分类模型及其衍生的地面实况解释组成，该方法提供了关于 XAI 方法输出的更深入的洞察。

Aug, 2023

本文发现了一个问题：通过微调输入图像，我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI，我们能够在不使用梯度或其他模型内部的情况下，成功地在黑盒设置下操作解释方法，从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。

Nov, 2022

通过适应最近的 XAI 分类算法并将它们用于多类别图像分割，本文着重于对高分辨率卫星图像中的建筑物分割的研究，引入了一种基于 “熵” 来衡量模型不确定性的新的 XAI 评估方法和指标，以此来提供透明度和可解释性，为图像分割领域的 XAI 研究和遥感应用铺平道路。

Oct, 2023

通过形式化说明解释是什么，提出一些公理和定义来澄清可解释的人工智能的数学角度。最后，我们提出了一个 Greybox XAI 框架，该框架通过使用符号知识库将 DNN 和透明模型组成。我们从数据集中提取知识库，并使用它来训练透明模型（即逻辑回归）。然后，我们在 RGB 图像上训练编码器 - 解码器架构，以产生类似于透明模型使用的知识库的输出。一旦两个模型独立地训练好后，它们就在组成的形式上用于形成可以解释的预测模型。我们展示了这种新的架构在几个数据集中是准确的和可以解释的。

Sep, 2022

通过实验证明通用的插入 / 删除解释型人工智能（XAI）评估方法并不适用于深伪造检测模型，并提出并实现了一种专门适用于深伪造检测模型的 XAI 评估方法。

Dec, 2023

提出了一种可验证深度学习模型准确性的可解释人工智能方法（XAI）——“我知道什么（WIK）”，通过在遥感图像分类任务中演示一个与要推理的输入数据类似的训练集实例来提供附加信息。该方法能够检查所选示例数据是否足够支持每个推断以及训练数据集是否具有不同于输入数据特征分布的功能，其可用于各种分类和回归等机器学习任务。

Feb, 2023

本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法（如随机显著性图）上的应用结果，结果表明其中一些指标会产生高度相关的结果，还展示了基准超参数变化对评估指标值的显著影响，最后使用虚拟方法评估指标的可靠性及其排名方面的限制。

May, 2023

本文介绍了深度学习中可解释人工智能技术（XAI），提出了技术分类法并介绍了方法学、范畴和应用层次等主要原则，旨在建立可信、可解释和自说明的深度学习模型。此外，通过八种不同的可解释人工智能算法对图像数据进行了评估，讨论了这种方法的局限性，并提出了未来改进的潜在方向。

Jun, 2020