计算机视觉模型的决策过程（尤其是深度神经网络）的不透明性意味着这些决策无法被人类理解。因此，在过去几年中，已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标，并对常见的显著性方法在 ImageNet 上进行了基准测试。此外，还提出了一种基于心理测评概念的可靠性评估方案。

Jun, 2024

本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

Oct, 2018

在可解释性人工智能领域，本文研究了基于图像分类器特征重要性的解释方法的稳定性、正确性和合理性之间的关系，并指出现有的评估指标并不总是一致的，进而提出了考虑被测模型的局部行为的新型评估指标。

Oct, 2023

本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

Jun, 2021

本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

Dec, 2020

通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

Jun, 2024

通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

Dec, 2023

通过使用心理度量学中的 Krippendorf's alpha 来量化图像分类后置解释方法的可靠性，本研究提出了模型训练改进方法，包括使用扰动样本和采用焦点损失函数，以增强鲁棒性和校准性。经验证实，跨度度量、数据集和后置方法，该开创性工作在可靠性评估上取得了显著改进，为后置解释方法的更可靠评估实践奠定了基础，并强调了模型鲁棒性在评估过程中的重要性。

Nov, 2023

我们提出了两个新的用于评估解释的度量标准：平均泛化 MeGe 和相对一致性 ReCo，并发现基于 1-Lipschitz 网络的解释比基于传统神经网络的解释更具可靠性和解释性。

Sep, 2020

为了解决生成 “黑盒” 深度学习模型准确解释的需要，本论文提出了一种基于模型不可知的、敏感性敏感度和信任度为核心的评估方法。该方法通过对多种卷积神经网络解释方法进行比较来验证其可行性，并探讨了敏感性与信任度的关系及该方法在其他领域的应用

Jun, 2023