ICLROct, 2018

深度神经网络的本地解释方法对参数值缺乏敏感性

PDF
TL;DR通过对深度神经网络的局部解释方法进行研究，发现具有随机初始化权重的 DNN 与具有学习权重的 DNN 的解释在视觉和数量上都很相似，可能是因为较低层次的特征被 DNN 的结构所主导，这对学习到的表示具有极大的影响。
发现论文，激发创造
  • 建立可靠的神经网络解释：模型解释的局部平滑视角

    本研究提出了一种基于光滑景观的预测且稳定的神经网络模型解释方法，通过批量学习噪声复制品并采用 L1 规范化方法对显著性地图进行训练，使模型学习得到局部光滑模型解释，有效地找出与预测结果相关的输入要素并且在对抗样本测试中表现优异。

    Mar, 2021

  • 深度神经网络的鲁棒解释

    本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法，激活函数的平滑以及网络 Hessian 的最小化，实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。

    Dec, 2020

  • 评估基于显著性的解释方法的整体敏感性

    为了解决生成 “黑盒” 深度学习模型准确解释的需要，本论文提出了一种基于模型不可知的、敏感性敏感度和信任度为核心的评估方法。该方法通过对多种卷积神经网络解释方法进行比较来验证其可行性，并探讨了敏感性与信任度的关系及该方法在其他领域的应用

    Jun, 2023

  • 利用潜在特征进行本地解释

    本研究探讨了一种利用潜在特征产生对照解释的新方向，通过添加新特征改变分类结果的方法进行预测的解释，证明了该方法在样本丰富的数据集上产生的直观解释优于其他方法，并可作为目前最先进的解释性方法的补充。

    May, 2019

  • 通过本地解释设计直接反馈循环人与卷积神经网络之间的联系

    设计并实现了 DeepFuse，此交互设计在诊断和修订卷积神经网络的脆弱性时实现用户与卷积神经网络之间的直接反馈循环，通过系统地搜索并注释 ' 不合理 ' 的局部解释，可帮助 CNN 工程师有效地改善当前的实践，并使 XAI 驱动的洞察力更具可操作性。

    Jul, 2023

  • 深度视觉特征的神经元解释破坏

    通过统一的流程对神经元解释方法进行了首次的鲁棒性分析，揭示在探测数据中添加随机噪声和设计良好的干扰可以显著破坏这些解释，引发对神经元解释方法在现实应用中的安全和公平性的关切。

    Oct, 2023

  • SAfER: 高效稳健的神经网络推理的层级敏感性评估

    深度神经网络在计算机视觉任务中表现出色，但对于关键应用，需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法，旨在估算其对准确性的敏感性，并提出了用于评估该方法的新数据集，为提高 DNN 效率和硬件故障鲁棒性（如位交换）提供了参考。

    Aug, 2023

  • 深度神经网络中局部不稳定性的测量和缓解

    通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。

    May, 2023

  • 使用修剪的逐层相关传播稀疏解释神经网络

    我们提出了一种修改后的解释方法，通过修剪不同层的相关传播来降低噪音，同时集中关注最重要的特征，从而提高深度神经网络输出的解释性。

    Apr, 2024

  • 深度神经网络的敏感性分析

    本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

    Jan, 2019