本文研究了深度网络输入特征对预测的影响,提出了敏感性和实现不变性两个公理,并指出大部分已知的边缘归因方法并不满足这两个公理。最后,作者设计了一种不需要修改原始网络的全新边缘归因方法 —— 集成梯度,并将其应用于图像、文本和化学模型中。结果表明,该方法不仅具有调试和提取规则的功能,还能够有效地帮助用户更好地使用模型。
Mar, 2017
本研究旨在对四种基于梯度的属性方法进行分析,并在图像和文本分类领域的多个数据集上测试这些方法,提出了一种新的评估指标 Sensitivity-n,并在改进一些方法后建立了一个统一框架,使这些方法能够进行直接比较和更容易实现。
Nov, 2017
本研究介绍了一种称为 Integrated Gradients 方法的基线归因方法和其四个公理特征,用以揭示神经网络及其他机器学习模型的内部工作机制。
Jun, 2023
本文提出了一种结合梯度和属性方法的算法来提供逐类的可解释性,该算法在纠正显著特征的同时,通过反向投影来提供每像素的局部影响,并成功地证明了在各种基准测试上的优越性能,包括用于梯度方法评估的基准测试以及主要用于评估属性方法的基准测试,此外,本文还成功地证明了自监督方法可以学习语义信息。
Dec, 2020
介绍了一个新的方法 ——Wavelet sCale Attribution Method (WCAM), 在像素域到空间 - 比例域进行了属于度量,并解释了这些模型在图像失真上失败的原因,提高了用户对模型的信任。
May, 2023
本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法,在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法,并提出了 “模型扰动” 的健全性检查,以补充传统的 “模型随机化” 测试。
Jun, 2022
在黑盒神经网络的基础上,通过训练第二个网络来预测对预备的黑盒分类器的贡献,并将这些贡献以只显示与分类器相关部分的蒙版的形式提供,我们的方法可以直接在单个前向传递中生成非常明显的类特定蒙版。
May, 2022
通过公理归因神经网络的视角,我们提出了经典鲁棒优化模型的训练目标,旨在实现鲁棒的集成梯度归因。实验结果表明了我们方法的有效性,并表明需要更好的优化技术或更好的神经网络架构来进行鲁棒的归因训练。
May, 2019
数据归因是理解机器学习模型的关键方法之一,我们提出了一种基于自监督学习预训练的最小化基线方法,对图像数据进行归因,这种方法计算成本低、内存占用少、易于扩展,且在 CIFAR-10 和 ImageNet 上实现了与现有方法相媲美甚至更好的性能。
Nov, 2023
本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释,该算法实现了通过将梯度积分到模型决策区域来解决饱和问题,该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。