AAAIOct, 2017

神经网络解释易受伤

PDF
TL;DR本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。
machine learninginterpretationdeep learningfragilityfeature importance
发现论文，激发创造
  • 通过有意义的扰动提供黑匣子的可解释性解释

    该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

    Apr, 2017

  • 可解释的深度学习：解释、可解释性、可信度及其他

    本文综述了神经网络的解释工具和算法，提出了一种新的分类方法，介绍了解释结果的评估方法和信任度算法的应用，讨论了深度模型解释与鲁棒性和借鉴解释的联系，并介绍了一些开源库。

    Mar, 2021

  • 神经模型的病态使解释困难

    通过 input reduction 方法研究了神经网络模型的缺陷，发现在面对异常数据时大多数模型都表现出困难并难以解释，提出了一种 fine-tuning 方法，通过提高模型的输出熵，增强模型的可解释性。

    Apr, 2018

  • 深度学习中的可证明鲁棒解释

    本研究提出了一种用于解释深度学习的可靠技术，并证实该方法对付对抗性攻击具有可靠性。

    May, 2019

  • 用最近邻居解释神经网络

    通过使用深度 K 近邻算法来改变神经网络的测试时间行为，本文提出了一种更健壮的不确定性度量，以生成特征重要性值，并使用这种解释方法来分析数据集注释人工制品上的模型预测。

    Sep, 2018

  • 关于可证实解释性研究的探索

    本文介绍了深度神经网络的可解释性研究及其方法，指出目前的方法存在的局限和风险，并提出了以可证伪性为核心的新的研究框架，目的是为了产生更具意义和可靠的可解释性方法。

    Oct, 2020

  • 神经网络可解释性调查

    本文综述了神经网络的可解释性研究，详细阐述了可解释性的定义、重要性、以及基于不同维度的新颖分类方法（如主动 / 被动解释方法、从局部到全局的解释等）。最后还总结了当前可解释性评估方法，并提出了新的研究方向。

    Dec, 2020

  • 机器学习方法应用于神经影像的可解释性

    本篇论文介绍了最常见的解释性方法和评估可靠性的指标，并探讨了它们在神经影像学方面的应用和基准测试。

    Apr, 2022

  • 超解释揭示图像分类模型的病态

    该研究发现，高得分的卷积神经网络在流行的基准测试中显示出令人担忧的病理现象，使它们即使在缺乏语义明显特征的情况下也能显示高准确度，这被称为过度解释其输入。研究提出了一种新的方法来发现复杂数据集的足够输入子集，并使用该方法显示 ImageNet 中边缘像素的足够性进行训练和测试，结果表明集成学习和输入 dropout 可以缓解过度解释现象。

    Mar, 2020

  • 人工神经网络可解释性调研

    该论文系统地回顾了近期研究的理解神经网络机理、解释深度学习应用特别是在医疗领域方面以及讨论了解释性研究的未来方向，如与模糊逻辑和脑科学的关系。

    Jan, 2020