ICCVOct, 2019

通过极值扰动和平滑蒙版理解深度网络

PDF
TL;DR本文探讨了现有扰动分析方法的一些缺点，并通过引入理论上坚实和可解释的极值扰动的概念来解决这些缺点。我们还介绍了一些技术创新来计算极值扰动，包括一个新的面积约束和一个参数化的平滑扰动系列，这些使我们能够从优化问题中去除所有可调超参数。我们分析了扰动的影响作为它们的面积的函数，展示了在刺激下深度神经网络的空间属性方面的出色灵敏度。我们还将扰动分析扩展到网络的中间层。最后，我们介绍了 TorchRay，这是一个基于 PyTorch 构建的可解释性库。
attributionperturbation analysisextremal perturbationsdeep neural networkinterpretability library
发现论文，激发创造
  • 深度神经网络的敏感性分析

    本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

    Jan, 2019

  • 时间关注：使用时间序列归因方法的全面基准测试

    本文重点研究时间序列分析，对比了几种最先进的卷积分类器解释方法，发现扰动法是较优选项，但也强调选择最适合的归因方法与所需用例的选择密切相关。

    Feb, 2022

  • 概率黑盒异常归因的生成扰动分析

    我们提出了一个概率异常归因框架，可以在黑盒回归情况下计算每个输入变量的归因得分的概率分布，从而解释与黑盒模型的异常偏差。我们展示了主流的模型无关解释方法在这个任务中不适用，并提出了一个新的框架，可以计算归因得分的预测均值和量化不确定性。我们介绍了一种变分贝叶斯算法，用于推导每个变量归因得分的分布。据我们所知，这是第一个不受偏差影响的概率异常归因框架。

    Aug, 2023

  • 基于因果分析的归因检测对抗样本

    使用涉及一系列方法来解释机器学习模型的决策，研究表明这种方法可以用于确定高属性特征的影响并检测出恶意攻击。

    Mar, 2019

  • 你看到的就是你分类的：黑盒归因

    在黑盒神经网络的基础上，通过训练第二个网络来预测对预备的黑盒分类器的贡献，并将这些贡献以只显示与分类器相关部分的蒙版的形式提供，我们的方法可以直接在单个前向传递中生成非常明显的类特定蒙版。

    May, 2022

  • 增强型正则化方法用于权责稳健性

    该研究论文旨在提出一种强健的归因训练策略来提高深度神经网络的归因鲁棒性，针对近年来的研究表明，尽管这些模型被给予两张非常相似的图像，但其产生的归因图可能会有很大的不同，从而引发了对其可信度的质疑。这个方法通过引入保护模型归因图免受攻击的两个新的正则器来提高归因鲁棒性，并在多个数据集上超越了最先进的归因鲁棒性方法。

    Dec, 2020

  • 通过有意义的扰动提供黑匣子的可解释性解释

    该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

    Apr, 2017

  • 通过针对输入的网络剪枝改进特征归因

    本研究提出一种通过对神经网络进行输入删减以生成细粒度贡献图的方法，该方法可以反映出全局重要性信息，并通过实验验证表明其效果优于其他方法。

    Nov, 2019

  • 使用 Transformer 评估文本归因的对抗鲁棒性

    通过提出 attribution robustness（AR）的概念，使用一系列文本相似性度量来捕捉两个文本的局部性和不可感知性，并提出了 TransformerExplanationAttack（TEA）的概念，利用最先进的语言模型，提取单词替换，从而展示了对于几种文本分类架构的实验，证明了 TEA 在提高对上下文敏感性的同时，更加流畅，更不易被察觉。

    Dec, 2022

  • 通过极值理论理解参数重要性

    通过分析极值理论，我们在此工作中试图弥合参数显著性排名对于寻找引发误识别的滤波器存在的知识差距。我们的实验结果表明，我们的重述方法也可以检测恶意滤波器，并且相比于现有的参数显著性方法，基于极点方法的参数显著性显示了更少的偏差。

    Oct, 2023