ICLRJun, 2020

重新思考基于梯度的属性方法在模型可解释性中的作用

PDF
TL;DR该研究分析了模型 input-gradients 在解释性方面的问题，提出了将标准 softmax-based 分类器的 logits 重新解释为未归一化的数据密度，证明了 input-gradients 可以被视为隐含于判别模型中的类条件密度模型的梯度，并提出了通过 score-matching 来实现对隐含密度模型与数据分布的对齐的算法。研究表明，对齐隐含密度模型和数据分布可以提高梯度的结构性和解释性。
interpretabilityneural networkssoftmaxclass-conditional density modelscore-matching
发现论文，激发创造
  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022

  • 输入梯度是否突出显示区别特征？

    本文提出一种评估框架 DiffROAR 和 MNIST 半真实数据集 BlockMNIST，用于检验模型对输入梯度的响应，研究表明采用对抗性模型可以更好的体现输入梯度的任务特征，这一发现为提高解释性提供了启示。

    Feb, 2021

  • 通过约束输入渐变来提高深度神经网络的对抗鲁棒性和可解释性

    本研究评估了不同防御机制对神经网络的有效性，发现使用输入梯度规则化训练的神经网络具有抵御小幅度扰动的鲁棒性，并且可以提高预测的可解释性。同时，对这种神经网络产生的误分类可以解释，并进一步讨论了深度神经网络中解释性和鲁棒性之间的关系。

    Nov, 2017

  • 深度神经网络的基于梯度的解释方法 —— 鲁棒性解释指南

    本文介绍了解释深度神经网络的渐变解释性方法，讨论了这些方法如何评估其鲁棒性以及鲁棒性在产生有意义的解释方面的作用，并探讨了渐变方法的局限性和选择解释方法之前应该考虑的最佳实践和属性。

    Jul, 2021

  • 基于损失梯度的可解释方法中的异常行为

    本文使用损失梯度来解释深度学习模型的决策过程，并通过遮盖输入的部分来评估基于损失梯度的归因方法的表现，在一定条件下，遮盖后的输入在测试数据集上表现更好，探索不同的损失梯度归因方法、遮盖水平和替换值来解释遮盖下性能提升现象。

    Jul, 2022

  • 从模型解释中重建模型

    该研究通过理论和实验表明，基于梯度的模型解释快速揭示模型本身，该结果强调了梯度而不是标签作为学习原语。同时，该研究提出了有效的启发式方法，以重新构建从梯度说明中获得的模型。

    Jul, 2018

  • 利用输入梯度解释预测模型

    本篇论文提出了一种简单的方法解释机器学习算法中的黑箱预测模型，该方法通过研究模型对输入的偏导数来获取需要的信息，并将其应用于自然语言处理中的卷积和多层神经网络的解释。

    Nov, 2016

  • 推广基于梯度的解释性反向传播

    通过使用半环，我们将反向传播算法推广到神经网络的梯度图的其他可解释统计量的高效计算，以识别深度神经网络中的重要特征、组件和自注意机制的路径。

    Jul, 2023

  • 贪婪猪：自适应积分梯度

    基于特征选择的统一离散优化框架引入了自适应性，提出了一种自适应的 Greedy PIG 方法以增强特征归因方法的能力。

    Nov, 2023

  • 深度神经网络基于梯度的归因方法的进一步理解

    本研究旨在对四种基于梯度的属性方法进行分析，并在图像和文本分类领域的多个数据集上测试这些方法，提出了一种新的评估指标 Sensitivity-n，并在改进一些方法后建立了一个统一框架，使这些方法能够进行直接比较和更容易实现。

    Nov, 2017