CVPRApr, 2020

重访反向传播显著性方法

PDF
TL;DR本文通过分析反向传播型显著性方法，提出了一个框架，将多种方法统一起来，进而提出了一个新的基于空间梯度特征的显著性方法 - NormGrad，并通过将不同层的显著图进行结合，测试不同层级网络提取信息的能力，并且引入了一个类别敏感指标和元学习方法以提高对输出类的敏感度。
saliency methodsbackpropagation-basednormgradclass-sensitivity metricmeta-learning
发现论文，激发创造
  • 可解释梯度的学习范式

    本论文研究了卷积网络的可解释性，通过利用显著性图进行分析。我们提出了一种新的训练方法，通过引入正则化损失，使标准反向传播得到的输入图像相对于引导反向传播得到的梯度类似。我们发现，由此得到的梯度在质量上更加清晰，量化上改善了不同网络的可解释性特性，使用了多种可解释性方法。

    Apr, 2024

  • 显著图的合理性检查

    本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

    Oct, 2018

  • NormGrad：寻找训练中有用的像素

    该论文提出了一种基于卷积层的梯度求和公式的权重归因方法，并通过元学习方法确定模型训练的相关位置，同时也展示了相似元学习方法可用于提取对模型有负面影响的对抗位置。

    Oct, 2019

  • 基于梯度的显著性方法中正向聚合和梯度传播的重新思考

    本篇文献探讨了一种用于解释神经网络预测结果的显著性方法，并发现使用两种处理梯度信息的方法会破坏这些方法，提出了几种正向处理梯度信息的聚合方法，并显示了仅传播正向梯度信息会产生破坏性影响。

    Dec, 2020

  • 态度问题：专注于积极和主动的梯度以提升显著图

    本文探讨了从显著性图中挖掘梯度符号的作用，如何更好地理解多类别分类问题，并揭示了卷积神经网络对图像像素的关注和影响。

    Sep, 2023

  • 显著性检测方法的通用框架

    本研究提出了一个涵盖五个主要步骤的显著性模型框架，包括预处理，特征提取，显著图生成，显著图组合和后处理，并研究了不同水平的显著性模型，比较其性能，有助于研究人员全面了解研究新方法。

    Dec, 2019

  • 高效明晰人工智能的显著性地图

    本研究提出了一种针对深度卷积神经网络的可解释性 AI 显著性图方法，其比流行的高分辨率梯度方法更为高效，并且在精度上也与其相当或更好。通过使用 Layer Ordered Visualization of Information，展示了该方法比其他显著性图方法提供更有趣的网络规模内比例贡献比较。此外，该方法在资源有限的平台上如机器人、手机、低成本工业设备、天文和卫星图像等方面是可行的。

    Nov, 2019

  • 基于显著性引导训练的深度学习解释性改进

    本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。

    Nov, 2021

  • CAMERAS: 图像显著性的增强分辨率和保持理智的类激活映射

    CAMERAS 是一种新的技术，可以计算高保真度的反向传播显著性地图，而不需要任何外部先验，并保留地图的稳定性。该方法通过多尺度积累和融合激活图和反向传播的梯度来计算精确的显著图，从而能够显著提高黑箱深度视觉模型的解释能力。同时，CAMERAS 可以在对抗性设置中用于捕获攻击目标，其想法也启发了新的评估指标和研究方向。

    Jun, 2021

  • 基于 CAM 的方法能穿墙

    CAM-based 方法是广泛使用的事后解释性方法，通过生成热点图来解释图像分类模型的决策。在本文中，我们展示了大部分这些方法可能会错误地将重要分数归因于模型无法看到的图像部分。我们从理论和实验两方面分析了该现象，并通过两个新数据集进行了定量评估。我们认为这是有问题的，可能导致对模型行为的错误解释。

    Apr, 2024