本论文研究了卷积网络的可解释性，通过利用显著性图进行分析。我们提出了一种新的训练方法，通过引入正则化损失，使标准反向传播得到的输入图像相对于引导反向传播得到的梯度类似。我们发现，由此得到的梯度在质量上更加清晰，量化上改善了不同网络的可解释性特性，使用了多种可解释性方法。

Apr, 2024

该论文研究了使用深度卷积网络 (ConvNets) 学习的图像分类模型的可视化，提出了两种基于计算类别分数相对于输入图像的梯度的可视化技术，能够最大化类别得分或计算类别显著图以进行对象分割，最后建立起梯度卷积网络可视化方法和反卷积网络之间的联系。

Dec, 2013

本文研究利用显著性在很少的训练数据时提高卷积神经网络的分类准确性。我们利用在现有 CNN 架构中添加显著性分支来引导特征提取过程，从而训练出一个具有高水平的对象识别精度的模型。我们的实验表明，显著性方法可以显著提高网络性能，特别是在很少的训练数据情况下。

Aug, 2018

本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。

Nov, 2021

本文通过分析反向传播型显著性方法，提出了一个框架，将多种方法统一起来，进而提出了一个新的基于空间梯度特征的显著性方法 - NormGrad，并通过将不同层的显著图进行结合，测试不同层级网络提取信息的能力，并且引入了一个类别敏感指标和元学习方法以提高对输出类的敏感度。

Apr, 2020

该论文提出了一种基于卷积层的梯度求和公式的权重归因方法，并通过元学习方法确定模型训练的相关位置，同时也展示了相似元学习方法可用于提取对模型有负面影响的对抗位置。

Oct, 2019

本研究提出了一种针对深度卷积神经网络的可解释性 AI 显著性图方法，其比流行的高分辨率梯度方法更为高效，并且在精度上也与其相当或更好。通过使用 Layer Ordered Visualization of Information，展示了该方法比其他显著性图方法提供更有趣的网络规模内比例贡献比较。此外，该方法在资源有限的平台上如机器人、手机、低成本工业设备、天文和卫星图像等方面是可行的。

Nov, 2019

本论文提出了一种新的二步解释方法 —— SR map，可以更好地理解深度卷积神经网络如何识别图像并从所谓的注意区域中学习特征。该方法清楚地表明了哪些关键像素和注意力区域对于深度卷积神经网络理解给定的图像是有贡献的。

Dec, 2017

本文研究使用的 CNN 在一些图像分类问题中表现非常好，但是解释 CNN 的操作是非常困难的。因此，本文提出了一种新型的解释算法，称为 LRP 算法，通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性，并针对该方法进行了用户评估。评估结果表明，该算法可以帮助参与者学习一些系统对特定图像特征的敏感性，但是对于新图像的分类任务提供的帮助似乎非常有限。因此，HCI 和人工智能社区需要超越实例级别的解释算法，继续研究解释 AI 的设计和进一步研究的问题。

Feb, 2020

本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

Jun, 2021