几何引导式的整合梯度
该研究分析了模型 input-gradients 在解释性方面的问题,提出了将标准 softmax-based 分类器的 logits 重新解释为未归一化的数据密度,证明了 input-gradients 可以被视为隐含于判别模型中的类条件密度模型的梯度,并提出了通过 score-matching 来实现对隐含密度模型与数据分布的对齐的算法。研究表明,对齐隐含密度模型和数据分布可以提高梯度的结构性和解释性。
Jun, 2020
通过适应路径影响力的方法,了解了集成梯度(IG)在黑盒深度学习模型中存在的可靠性问题,主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集,证明了 IG 沿测地线符合黎曼数据流形的曲线几何性质,生成更具感知直观性的解释,从而大大增加了针对归属攻击的鲁棒性。
May, 2024
本文提出了自适应路径方法(APM)以及其特例 Guided IG 方法,通过调整归因路径本身(而非仅减少结果中的噪声)来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题,并实验证明其在几乎所有实验中优于其他相关方法,可以创建与模型预测和图像输入更加一致的显著性地图。
Jun, 2021
本文提出了一种新的输入无关的显著性地图方法,它从计算上估计模型对其输出所归属的高级特征并通过可解释的可视化展示,以更加准确和公正地解释模型的行为,同时在大规模模型中成功应用,并且通过识别受损分类器中的后门签名,展示了这种新形式显著性映射的另一个有趣的用途。
Mar, 2023
本文介绍了一种新的用于计算神经网络预测的可视化解释技术,该技术可以在卷积神经网络的任何层上应用,并且不受消失梯度问题的影响,采用 Riemann-Stieltjes 和逼近法进行层级数值梯度积分。与 Grad-CAM 相比,我们算法产生的热图更清晰地聚焦于感兴趣的区域,并且计算更稳定。
May, 2022
本文介绍了广义整合梯度(GIG),是解释 ML 预测模型的输入变量的方法,并且相较于其他方法有很好的特性,适用于各种实际应用,特别是金融领域。我们证明了在合理的公理下,GIG 是解释混合型模型或游戏的唯一正确方法。
Sep, 2019
本文提出了一种基于梯度的 IAGA 框架,通过少量解释注释来解释复杂神经网络的 ABSC 模型,以提高模型的可解释性,性能和鲁棒性。
Feb, 2023
通过重视噪音源,提出了一种新的框架 ——IDGI,结合了 Reimann Integration 和 IG-based 的方法,可以在解释性指标上显著提高。
Mar, 2023
本文针对 Integrated Gradients 在文本数据中由于词嵌入空间的固有离散性导致插值点不够具有代表性的问题,提出了基于离散化插值策略的 Discretized Integrated Gradients 方法,与 Integrated Gradients 方法相比,本方法计算出的梯度更符合实际情况,有效性得到了实验和人工评估的验证。
Aug, 2021
通过 xFAI 技术来阐述卷积神经网络 (CNN) 经常在解释中面临挑战,图像提取的像素等输入特征的固有复杂性产生复杂的相关性,以 Integrated Gradients (IG) 为代表的基于梯度的方法有效地展示了这些特征的重要性,然而,这些解释转化为图像通常会产生大量的噪声。我们引入了 GAD (Gradient Artificial Distancing) 作为基于梯度的技术的支持框架,其主要目标是通过建立类之间的区别来强调有影响力的区域。GAD 的本质是在可视化过程中限制分析范围,并因此减少图像噪声。经过对遮挡图像的实证研究表明,通过这种方法识别出的区域确实在促进类别区分方面起到关键作用。
Jan, 2024