Oct, 2018

显著图的合理性检查

PDF
TL;DR本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。
saliency methodsexplanation evaluationdata model sensitivityoutlier detectionedge detection
发现论文，激发创造
  • 基于显著性的可解释性方法评估

    本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

    Jun, 2021

  • 显著性指标的合理性检验

    本研究探索了现有的用于评估显著图质量（即 “保真度”）的指标，并发现当前文献中这些指标的计算方式缺乏一致性，且可重复性差，说明用这些指标生成的显著图质量排名可能不可信。

    Nov, 2019

  • 评估神经语言模型的显著性方法

    本文通过对 NLP 模型的神经语言进行全面的定量评估，从两个方面评价了预测解释的质量：可信度和可信度。通过评估，我们发现，如何在给定相同模型和预测时，不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作，应该在得出结果之前仔细验证其解释。

    Apr, 2021

  • (不) 可靠的显著性方法

    本文探讨了深度神经网络的显著性方法在解释模型预测时的可靠性问题，提出了保证输入不变性的要求，并举例说明了不满足此要求的方法可能导致错误归因。

    Nov, 2017

  • 评估用于卷积神经网络的显著性图解释：用户研究

    本文研究使用的 CNN 在一些图像分类问题中表现非常好，但是解释 CNN 的操作是非常困难的。因此，本文提出了一种新型的解释算法，称为 LRP 算法，通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性，并针对该方法进行了用户评估。评估结果表明，该算法可以帮助参与者学习一些系统对特定图像特征的敏感性，但是对于新图像的分类任务提供的帮助似乎非常有限。因此，HCI 和人工智能社区需要超越实例级别的解释算法，继续研究解释 AI 的设计和进一步研究的问题。

    Feb, 2020

  • 解释目标检测器的显著性方法的合理性检查

    通过对 Saliency methods 在各种目标检测模型中的应用，以及 Guided Backpropagation、Integrated Gradients，以及它们的 Smoothgrad 版本等 saliency 方法的新定性标准的定义，发现 EfficientDet-D0 是最直观的方法，独立于 saliency 方法，通过测试无障碍解释模型。

    Jun, 2023

  • 关于视觉解释的定量评估的一致性

    研究神经网络的预测可视化解释，并评价这些解释的好坏。其中，绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果，结果表明评价方法之间缺乏一致性。同时，解释的稀疏性对评价方法的表现具有显著影响。

    Feb, 2023

  • 基于显著性模型解释的图形感知

    通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

    Jun, 2024

  • 通过众包评估自然语言处理中的显著性解释

    通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

    May, 2024

  • 重访反向传播显著性方法

    本文通过分析反向传播型显著性方法，提出了一个框架，将多种方法统一起来，进而提出了一个新的基于空间梯度特征的显著性方法 - NormGrad，并通过将不同层的显著图进行结合，测试不同层级网络提取信息的能力，并且引入了一个类别敏感指标和元学习方法以提高对输出类的敏感度。

    Apr, 2020