ICMLOct, 2020

研究集成梯度中的饱和效应

PDF
TL;DR我们探索了 Integrated Gradients 的不同区域的组成和相对影响，并发现该路径的饱和区域梯度对计算的归因产生了不成比例的影响。我们提出了一种 Integrated Gradients 的变体，主要捕获未饱和区域的梯度，并在 ImageNet 分类网络上评估了该方法。我们发现，与标准 Integrated Gradients 相比，这种归属技术显示出更高的模型忠诚度和对噪声的较低敏感性。
integrated gradientsmodel interpretabilityattribution techniqueimagenet classification networksmodel faithfulness
发现论文，激发创造
  • 集成决策梯度：在模型做出决策的地方计算您的属性

    本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释，该算法实现了通过将梯度积分到模型决策区域来解决饱和问题，该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。

    May, 2023

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022

  • 引导式集成梯度：一种用于去除噪声的自适应路径方法

    本文提出了自适应路径方法（APM）以及其特例 Guided IG 方法，通过调整归因路径本身（而非仅减少结果中的噪声）来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题，并实验证明其在几乎所有实验中优于其他相关方法，可以创建与模型预测和图像输入更加一致的显著性地图。

    Jun, 2021

  • IG2：特征归因的迭代梯度路径上的综合梯度

    特征归因方法 IG2 整合了梯度的正常输出和反事实输出，提高了特征归因的准确性，并证明在多个领域取得了优于现有技术的结果。

    Jun, 2024

  • 顺序集成梯度：解释语言模型的简单而有效方法

    本文提出了一种逐步积分的方法（SIG），用于评估语言模型中每个词的重要性，同时用训练过的词 “mask” 代替了不适合的 baseline 词 “pad”，证明了其在各种模型和数据集上皆具有高效的解释语言模型的能力。

    May, 2023

  • 神经网络可视化的全梯度表示

    本文提出了一种新的解释神经网络响应的工具，称为完整梯度，它将神经网络响应分解为输入灵敏度和每个神经元的灵敏度成分。作者还提出了一种近似的唯象图表示方法，称为 FullGrad，用于卷积网络。作者通过两个定量测试评估了 FullGrad 的有用性，证明了它比文献中其他方法更全面地解释模型行为。视觉检查还表明，我们的显着性图像比其他方法更清晰地限制在对象区域内。

    May, 2019

  • 尺度与空间的归因

    该论文研究应用于感知任务的深度网络的归因问题，并提出了一种名为 “Blur Integrated Gradients” 的新技术，该技术比其他方法具有多个优点，可以准确识别物体并产生一致且干净的解释，适用于图像，视网膜病变和音频事件等多个任务。

    Apr, 2020

  • 基于一体化梯度评分的卷积神经网络敏感性感知可视解释

    通过计算 Grad-CAM 的基于梯度项的路径积分，我们提出了一种解决方法，可以更好地说明该模型提取的特征对其预测的重要性，对于物体定位和模型解释具有重要意义。

    Feb, 2021

  • 用 Riemann-Stieltjes 积分梯度定位从深度网络中得到视觉解释

    本文介绍了一种新的用于计算神经网络预测的可视化解释技术，该技术可以在卷积神经网络的任何层上应用，并且不受消失梯度问题的影响，采用 Riemann-Stieltjes 和逼近法进行层级数值梯度积分。与 Grad-CAM 相比，我们算法产生的热图更清晰地聚焦于感兴趣的区域，并且计算更稳定。

    May, 2022

  • NormGrad：寻找训练中有用的像素

    该论文提出了一种基于卷积层的梯度求和公式的权重归因方法，并通过元学习方法确定模型训练的相关位置，同时也展示了相似元学习方法可用于提取对模型有负面影响的对抗位置。

    Oct, 2019