集成梯度归因方法的四个公理特征
本文研究了深度网络输入特征对预测的影响,提出了敏感性和实现不变性两个公理,并指出大部分已知的边缘归因方法并不满足这两个公理。最后,作者设计了一种不需要修改原始网络的全新边缘归因方法——集成梯度,并将其应用于图像、文本和化学模型中。结果表明,该方法不仅具有调试和提取规则的功能,还能够有效地帮助用户更好地使用模型。
Mar, 2017
本研究旨在对四种基于梯度的属性方法进行分析,并在图像和文本分类领域的多个数据集上测试这些方法,提出了一种新的评估指标Sensitivity-n,并在改进一些方法后建立了一个统一框架,使这些方法能够进行直接比较和更容易实现。
Nov, 2017
通过公理归因神经网络的视角,我们提出了经典鲁棒优化模型的训练目标,旨在实现鲁棒的集成梯度归因。实验结果表明了我们方法的有效性,并表明需要更好的优化技术或更好的神经网络架构来进行鲁棒的归因训练。
May, 2019
本文提出了一种基于区域的新型归因方法XRAI,介绍了评估方法PICs,并且通过实验展示在常见模型和ImageNet数据集上,XRAI比其他显著性方法产生更好的结果。
Jun, 2019
本文提出了自适应路径方法(APM)以及其特例Guided IG方法,通过调整归因路径本身(而非仅减少结果中的噪声)来解决在视觉模型上应用Integrated Gradients方法产生噪声像素归因的问题,并实验证明其在几乎所有实验中优于其他相关方法,可以创建与模型预测和图像输入更加一致的显著性地图。
Jun, 2021
本研究提出了一种新的归因算法(IDG)用于神经网络模型的解释,该算法实现了通过将梯度积分到模型决策区域来解决饱和问题,该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。
May, 2023
提出了一种名为 Shapley Integrated Gradients (SIG) 的新的基线构建方法,通过比例采样来模拟 Shapley Value 的计算路径,并在不同的图像任务中对其进行了实验验证,结果显示 SIG 在特征贡献估计、解释的一致性以及适用于不同数据类型或实例方面相较于其他基线方法具有更好的性能。
Oct, 2023
本文介绍了一种名为集成梯度相关性(IGC)的新方法,它将数据集属性与模型预测得分相关联,并通过与相关组件的直接求和实现区域特定分析。在脑部fMRI神经信号的图像特征表示以及神经人口感受野(NSD数据集)的估计以及手写数字识别(MNIST数据集)的研究中,我们演示了我们的方法。得出的IGC属性显示出选择性模式,揭示了与各自目标一致的潜在模型策略。
Apr, 2024
通过适应路径影响力的方法,了解了集成梯度(IG)在黑盒深度学习模型中存在的可靠性问题,主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集,证明了IG沿测地线符合黎曼数据流形的曲线几何性质,生成更具感知直观性的解释,从而大大增加了针对归属攻击的鲁棒性。
May, 2024