推广基于梯度的解释性反向传播

ACLJul, 2023

Generalizing Backpropagation for Gradient-Based Interpretability

Kevin Du, Lucas Torroba Hennigen, Niklas Stoehr, Alexander Warstadt, Ryan Cotterell

TL;DR通过使用半环，我们将反向传播算法推广到神经网络的梯度图的其他可解释统计量的高效计算，以识别深度神经网络中的重要特征、组件和自注意机制的路径。

Abstract

Many popular feature-attribution methods for interpreting deep neural networks rely on computing the gradients of a model's output with respect to its inputs. While these methods can indicate which input features may be important for the model's prediction, they reveal little about the

feature-attribution methods deep neural networks gradient computation backpropagation algorithm self-attention mechanism

发现论文，激发创造

深度神经网络基于梯度的归因方法的进一步理解

本研究旨在对四种基于梯度的属性方法进行分析，并在图像和文本分类领域的多个数据集上测试这些方法，提出了一种新的评估指标 Sensitivity-n，并在改进一些方法后建立了一个统一框架，使这些方法能够进行直接比较和更容易实现。

Nov, 2017

深度神经网络可解释性方法评估基准

本文提出了一种衡量深度神经网络特征重要性估计的近似准确性的经验方法，研究发现，在许多流行的可解释性方法中，只有某些集成方法，如 VarGrad 和 SmoothGrad-Squared，才能胜任随机指定特征重要性的任务。

Jun, 2018

几何引导式的整合梯度

本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

Jun, 2022

基于梯度反向传播的特征归因，实现边缘智能可解释性

本研究为了实现边缘设备上的实时可解释人工智能（XAI），利用可配置的 FPGA 设计和优化算法提高多种特征归因算法的灵活性和性能，并演示了通过分配硬件资源的有效重复使用的路径，以最小化部分准确性损失。

Oct, 2022

重新思考基于梯度的属性方法在模型可解释性中的作用

该研究分析了模型 input-gradients 在解释性方面的问题，提出了将标准 softmax-based 分类器的 logits 重新解释为未归一化的数据密度，证明了 input-gradients 可以被视为隐含于判别模型中的类条件密度模型的梯度，并提出了通过 score-matching 来实现对隐含密度模型与数据分布的对齐的算法。研究表明，对齐隐含密度模型和数据分布可以提高梯度的结构性和解释性。

Jun, 2020

可解释梯度的学习范式

本论文研究了卷积网络的可解释性，通过利用显著性图进行分析。我们提出了一种新的训练方法，通过引入正则化损失，使标准反向传播得到的输入图像相对于引导反向传播得到的梯度类似。我们发现，由此得到的梯度在质量上更加清晰，量化上改善了不同网络的可解释性特性，使用了多种可解释性方法。

Apr, 2024

重新思考解释：深度视觉分类器的输入无关性显著性映射

本文提出了一种新的输入无关的显著性地图方法，它从计算上估计模型对其输出所归属的高级特征并通过可解释的可视化展示，以更加准确和公正地解释模型的行为，同时在大规模模型中成功应用，并且通过识别受损分类器中的后门签名，展示了这种新形式显著性映射的另一个有趣的用途。

Mar, 2023

神经网络特征评估中的不一致问题探究

近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

Apr, 2024

深度神经网络的基于梯度的解释方法 —— 鲁棒性解释指南

本文介绍了解释深度神经网络的渐变解释性方法，讨论了这些方法如何评估其鲁棒性以及鲁棒性在产生有意义的解释方面的作用，并探讨了渐变方法的局限性和选择解释方法之前应该考虑的最佳实践和属性。

Jul, 2021

XAI for Transformers: 通过保守传递实现更好的解释

本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和 LayerNorm 层的更稳定传播，在广泛的 Transformer 模型和数据集上实现了最先进的解释性能。

Feb, 2022