May, 2019

神经网络可视化的全梯度表示

PDF
TL;DR本文提出了一种新的解释神经网络响应的工具，称为完整梯度，它将神经网络响应分解为输入灵敏度和每个神经元的灵敏度成分。作者还提出了一种近似的唯象图表示方法，称为 FullGrad，用于卷积网络。作者通过两个定量测试评估了 FullGrad 的有用性，证明了它比文献中其他方法更全面地解释模型行为。视觉检查还表明，我们的显着性图像比其他方法更清晰地限制在对象区域内。
neural netsinput sensitivityper-neuron sensitivitysaliency mapmodel behavior
发现论文，激发创造
  • 基于梯度的可解释性方法与二值化神经网络

    本文比较了应用在二值化神经网络与全精度神经网络的几种常用显著图解释技术（梯度、平滑梯度和 GradCAM）表现的差异，结果发现 SmoothGrad 方法在 BNNs 时产生明显的噪音地图，而 GradCAM 则在网络类型上产生显著的不同，有些 BNNs 的解释看起来毫无意义。我们探讨了这些差异的可能原因，并将其作为需在更广泛的网络类型上测试解释性技术的示例。

    Jun, 2021

  • 可解释梯度的学习范式

    本论文研究了卷积网络的可解释性，通过利用显著性图进行分析。我们提出了一种新的训练方法，通过引入正则化损失，使标准反向传播得到的输入图像相对于引导反向传播得到的梯度类似。我们发现，由此得到的梯度在质量上更加清晰，量化上改善了不同网络的可解释性特性，使用了多种可解释性方法。

    Apr, 2024

  • 基于一体化梯度评分的卷积神经网络敏感性感知可视解释

    通过计算 Grad-CAM 的基于梯度项的路径积分，我们提出了一种解决方法，可以更好地说明该模型提取的特征对其预测的重要性，对于物体定位和模型解释具有重要意义。

    Feb, 2021

  • SmoothGrad: 通过添加噪声去除噪声

    本文介绍了一种基于渐变的灵敏度图可视化方法 SmoothGrad 以及其优化技术，旨在更好地理解深度网络的决策过程。

    Jun, 2017

  • 重访反向传播显著性方法

    本文通过分析反向传播型显著性方法，提出了一个框架，将多种方法统一起来，进而提出了一个新的基于空间梯度特征的显著性方法 - NormGrad，并通过将不同层的显著图进行结合，测试不同层级网络提取信息的能力，并且引入了一个类别敏感指标和元学习方法以提高对输出类的敏感度。

    Apr, 2020

  • 高效明晰人工智能的显著性地图

    本研究提出了一种针对深度卷积神经网络的可解释性 AI 显著性图方法，其比流行的高分辨率梯度方法更为高效，并且在精度上也与其相当或更好。通过使用 Layer Ordered Visualization of Information，展示了该方法比其他显著性图方法提供更有趣的网络规模内比例贡献比较。此外，该方法在资源有限的平台上如机器人、手机、低成本工业设备、天文和卫星图像等方面是可行的。

    Nov, 2019

  • 用 Riemann-Stieltjes 积分梯度定位从深度网络中得到视觉解释

    本文介绍了一种新的用于计算神经网络预测的可视化解释技术，该技术可以在卷积神经网络的任何层上应用，并且不受消失梯度问题的影响，采用 Riemann-Stieltjes 和逼近法进行层级数值梯度积分。与 Grad-CAM 相比，我们算法产生的热图更清晰地聚焦于感兴趣的区域，并且计算更稳定。

    May, 2022

  • 态度问题：专注于积极和主动的梯度以提升显著图

    本文探讨了从显著性图中挖掘梯度符号的作用，如何更好地理解多类别分类问题，并揭示了卷积神经网络对图像像素的关注和影响。

    Sep, 2023

  • 卷积神经网络内部探究：图像分类模型和显著性地图的可视化

    该论文研究了使用深度卷积网络 (ConvNets) 学习的图像分类模型的可视化，提出了两种基于计算类别分数相对于输入图像的梯度的可视化技术，能够最大化类别得分或计算类别显著图以进行对象分割，最后建立起梯度卷积网络可视化方法和反卷积网络之间的联系。

    Dec, 2013

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022