Apr, 2019

相对属性传播：解释深度神经网络中个体单元的比较贡献

HTML
PDF
TL;DR该论文提出了一种新的方法Relative Attributing Propagation(RAP)，通过将神经元标注为正面和负面属性来解释深度神经网络的结果，从而使得其解释更为清晰可视化。通过基于相关度分配的优先级，该方法可以对神经元进行双极重要性评分，从而使得其解释更为贴近实际。
发现论文，激发创造
  • 深度神经网络公理归因

    本文研究了深度网络输入特征对预测的影响，提出了敏感性和实现不变性两个公理，并指出大部分已知的边缘归因方法并不满足这两个公理。最后，作者设计了一种不需要修改原始网络的全新边缘归因方法——集成梯度，并将其应用于图像、文本和化学模型中。结果表明，该方法不仅具有调试和提取规则的功能，还能够有效地帮助用户更好地使用模型。

    Mar, 2017

  • 深度神经网络基于梯度的归因方法的进一步理解

    本研究旨在对四种基于梯度的属性方法进行分析，并在图像和文本分类领域的多个数据集上测试这些方法，提出了一种新的评估指标Sensitivity-n，并在改进一些方法后建立了一个统一框架，使这些方法能够进行直接比较和更容易实现。

    Nov, 2017

  • 通过极值扰动和平滑蒙版理解深度网络

    本文探讨了现有扰动分析方法的一些缺点，并通过引入理论上坚实和可解释的极值扰动的概念来解决这些缺点。我们还介绍了一些技术创新来计算极值扰动，包括一个新的面积约束和一个参数化的平滑扰动系列，这些使我们能够从优化问题中去除所有可调超参数。我们分析了扰动的影响作为它们的面积的函数，展示了在刺激下深度神经网络的空间属性方面的出色灵敏度。我们还将扰动分析扩展到网络的中间层。最后，我们介绍了TorchRay，这是一个基于PyTorch构建的可解释性库。

    Oct, 2019

  • 面向属性鲁棒性的通用框架 FAR

    该研究提出一种名称为FAR的新型范式，用于通过在输入的局部领域内最小化属性映射的最大差异来训练模型的鲁棒属性。通过新模型AAT和AdvAAT的实验表明，所提出的方法在对抗干扰下都更有稳健性。

    Oct, 2020

  • 使用相对分段传播分析比较梯度和敌对激活，解释深度神经网络

    本文提出了一种新的归因方法Relative Sectional Propagation（RSP）来对深度神经网络的输出进行全面分解，该方法可以克服激活神经元的非抑制性质，以更清晰的类别区分性和详细的激活神经元说明来分解DNNs的预测结果。

    Dec, 2020

  • 数据集广泛XAI的软件：从本地解释到全局洞见，使用Zennit，CoRelAy和ViRelAy

    本研究介绍了三个面向科学家的软件包，以利用归因方法和其他方法探索模型的推理方式，提供解释人工智能的标准化实现方案。

    Jun, 2021

  • 探究归因方法的改进

    本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

    May, 2022

  • 通过局部梯度对齐实现更强健的解释性

    本文提出新的思路，通过特征归因归一化改进局部梯度，提出了L2范数和余弦距离的规范化不变的损失函数作为正则化项，在CIFAR-10和ImageNet-100上实验表明该方法大大提高了解释的鲁棒性。

    Nov, 2022

  • 通过系统评估更好地理解归因方法的差异

    本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度，并在一系列模型上研究了一些广泛使用的归因方法的优缺点，并提出一种后处理平滑步骤以显著提高某些归因方法的性能。

    Mar, 2023

  • 通过展开和征服的归因指导实现网络决策基础的更好可视化

    本文提出了一种新颖的事后框架UCAG，通过对模型置信度进行空间审查，增强了神经网络决策的解释能力。该方法通过细致地分析输入特征，提供了丰富而清晰的解释，从而提高了解释的表达能力，并超越了现有方法的性能。

    Dec, 2023