本研究探索了现有的用于评估显著图质量（即 “保真度”）的指标，并发现当前文献中这些指标的计算方式缺乏一致性，且可重复性差，说明用这些指标生成的显著图质量排名可能不可信。

Nov, 2019

通过贝叶斯决策理论，将视觉显著性模型、显著性地图和评价指标分离，提出了一种基于概率模型的注视密度预测方法，并通过计算这些最优显著性地图来解决了显著性模型评估中不一致的指标问题。

Apr, 2017

计算机视觉模型的决策过程（尤其是深度神经网络）的不透明性意味着这些决策无法被人类理解。因此，在过去几年中，已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标，并对常见的显著性方法在 ImageNet 上进行了基准测试。此外，还提出了一种基于心理测评概念的可靠性评估方案。

Jun, 2024

本文通过对 NLP 模型的神经语言进行全面的定量评估，从两个方面评价了预测解释的质量：可信度和可信度。通过评估，我们发现，如何在给定相同模型和预测时，不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作，应该在得出结果之前仔细验证其解释。

Apr, 2021

本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

Oct, 2018

本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

Dec, 2020

通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

Jun, 2024

通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

May, 2024

本文提出了一个针对图像和文本领域使用的人类注意力基准，使用多层人类注意力蒙版的评估方法评估了使用 Grad-cam 和 LIME 技术获得的模型显著性解释，并通过比较单层对象分割掩码评估的主观评分和基准阈值不可知的评估方法的效果，表明我们的基准更加有效。同时，本文的实验还揭示了主观评分中的用户偏见。

Jan, 2018

通过分解隐含特征为可解释的基底，提出了一种新的分析框架，用于研究深度显著性模型成功背后的隐含特征、显著性预测的原理以及其对不同应用场景中的视觉注意力的影响。

Oct, 2023