IG2:特征归因的迭代梯度路径上的综合梯度
本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释,该算法实现了通过将梯度积分到模型决策区域来解决饱和问题,该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。
May, 2023
本文提出了自适应路径方法(APM)以及其特例 Guided IG 方法,通过调整归因路径本身(而非仅减少结果中的噪声)来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题,并实验证明其在几乎所有实验中优于其他相关方法,可以创建与模型预测和图像输入更加一致的显著性地图。
Jun, 2021
通过适应路径影响力的方法,了解了集成梯度(IG)在黑盒深度学习模型中存在的可靠性问题,主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集,证明了 IG 沿测地线符合黎曼数据流形的曲线几何性质,生成更具感知直观性的解释,从而大大增加了针对归属攻击的鲁棒性。
May, 2024
本文针对 Integrated Gradients 在文本数据中由于词嵌入空间的固有离散性导致插值点不够具有代表性的问题,提出了基于离散化插值策略的 Discretized Integrated Gradients 方法,与 Integrated Gradients 方法相比,本方法计算出的梯度更符合实际情况,有效性得到了实验和人工评估的验证。
Aug, 2021
本研究将 Integrated Gradients 和 PatternAttribution 两种神经网络可解释性方法相结合,形成了 Pattern-Guided Integrated Gradients (PGIG) 方法,并在大规模图像退化实验中对其和其他九种可解释性方法进行了基准测试,结果表明 PGIG 优于所有其他方法。
Jul, 2020
本文介绍了一种名为集成梯度相关性(IGC)的新方法,它将数据集属性与模型预测得分相关联,并通过与相关组件的直接求和实现区域特定分析。在脑部 fMRI 神经信号的图像特征表示以及神经人口感受野(NSD 数据集)的估计以及手写数字识别(MNIST 数据集)的研究中,我们演示了我们的方法。得出的 IGC 属性显示出选择性模式,揭示了与各自目标一致的潜在模型策略。
Apr, 2024
本研究提出了一种新的算法优化方法,通过硬件感知将 Integrated Gradients 算法加速,使其在保证收敛的同时,显著减少总插值步骤并提高了性能,同时我们在 ImageNet 数据集上进行的实验进一步验证了该算法的有效性。
Feb, 2023
本文介绍了广义整合梯度(GIG),是解释 ML 预测模型的输入变量的方法,并且相较于其他方法有很好的特性,适用于各种实际应用,特别是金融领域。我们证明了在合理的公理下,GIG 是解释混合型模型或游戏的唯一正确方法。
Sep, 2019
本文提出了一种逐步积分的方法(SIG),用于评估语言模型中每个词的重要性,同时用训练过的词 “mask” 代替了不适合的 baseline 词 “pad”,证明了其在各种模型和数据集上皆具有高效的解释语言模型的能力。
May, 2023