通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

May, 2024

通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

Dec, 2023

计算机视觉模型的决策过程（尤其是深度神经网络）的不透明性意味着这些决策无法被人类理解。因此，在过去几年中，已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标，并对常见的显著性方法在 ImageNet 上进行了基准测试。此外，还提出了一种基于心理测评概念的可靠性评估方案。

Jun, 2024

评估图像分类器关于人类感知定义的地面真实标记（例如分割掩模）的解释，主要评估的是考虑中的模型的质量而不是解释方法自身。在这种观察的驱动下，我们提出了一个框架，用于联合评估将深度神经网络与解释方法相结合的安全关键系统的鲁棒性。这些系统在医学图像分析或机器人技术等实际应用中越来越广泛使用。我们引入了一种微调过程，将模型 - 解释的流程与地面真相错位，用它来量化人类对齐的最坏和最好情况之间的潜在差异。在各种模型架构和事后局部解释方法的实验中，我们对视觉变换器的鲁棒性和此类 AI 系统对潜在对抗攻击的整体脆弱性提供了洞见。

Nov, 2023

研究表明，基于排名相关性进行的注意力权重和特征添加解释方法之间的相关性分析，要么证明了基于注意力的解释作为显著性的忠实且合理的措施的作用，要么否定了这一点。但是，作者对 LIME，DeepLIFT 等多种解释技术的实验结果表明，并不存在一个能够弥合这些技术之间存在的明显分歧的排名相关度量方法。因此，作者建议从社区提出的严谨诊断方法入手，进行模型解释的改进。

May, 2021

通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

Jun, 2024

提出了一种使用众包的人类评估方法来比较各种基于显著性的特征归因方法作为解释性 AI 方法（XAI）的有效性，并发现结果与自动化评估方法不同。

Jun, 2021

本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

Dec, 2020

研究了人类描述场景时自底向上显著性视觉关注和物体引用之间的一致性；提出了一种以显著性为增强因素的图像标题生成模型，结果发现该模型并不明显优于传统方法，但能更好地适用于未知数据。

Apr, 2017

通过研究用于文本数据的基于显著性的解释，本研究调查了多种因素（如输入，解释和可视化方式）对普通人理解解释的影响，并发现类似单词长度等表面和不相关的因素会影响解释的理解，但通过基于模型评估的方法，可以提高人们的理解能力。

Jan, 2022