ICMLJul, 2017

通过输入重采样实现卷积神经网络的可视化解释

PDF
TL;DR我们提出了一种通过检测神经网络中的信息流来分析预测的框架，该框架使用两个指标选择神经元，这些神经元既对网络输出产生巨大影响又能激活通用特征并比较不同度量筛选的神经元集合，从而提出了一种调查卷积神经网络内部注意机制的方法。
neural networksmodel interpretabilityinformation flowneuron activationconvolutional neural networks
发现论文，激发创造
  • 卷积神经网络的可解释和细粒度视觉解释

    本文提出了一种用于验证神经网络的可视化解释方法，该方法基于优化技术，通过过滤梯度来防止对抗证据。这种方法可以提供细粒度、可解释的图像细节证据，并可针对多个模型和数据集进行定性和定量评估。

    Aug, 2019

  • 通过基于归因的输入采样和块状特征聚合来解释卷积神经网络

    使用基于归因的输入抽样技术在模型的多个层面收集可视化映射并对其进行聚合，最终实现了对卷积神经网络解释的精细和完整的解释，同时提出了一种基于卷积神经网络模型的层选择策略。实验结果表明，该方法在解释准确度和视觉质量方面能够满足或超越现有方法，且稳定性良好。

    Oct, 2020

  • 不要相信你的眼睛：特征可视化的（不）可靠性

    通过对神经网络内部运作方式的可解释性实现可靠功能的可视化是建立在可重复连通性的基础之上，因此我们需要发展更可靠的特征可视化方法解释神经网络处理自然图像的能力。

    Jun, 2023

  • 基于频率的鲁棒卷积神经网络解释方法

    本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

    May, 2020

  • 深度卷积网络的影响驱动解释

    该研究旨在解释深度神经网络的行为特性，作者通过使用基于公理的影响测量方法来识别对感兴趣的数量和分布具有高影响力的神经元，并解释这些神经元所代表的概念。通过在 ImageNet 数据集上测试，作者证明了影响导向的解释方法具有将信仰术语的影响概念推广到更多实例的能力，可以提取网络中关于类别的核心信息，可以分离网络用于做出决策和区分相关类别所使用的单个特征。

    Feb, 2018

  • 将输入概念与卷积神经网络的决策联系起来

    本文探究了卷积神经网络 CNN 中通过对输入进行概念识别达到决策的关系，通过考察场景识别 CNN 对 ADE20k 数据集的训练结果，找到并评分给定输入概念的最小分布式表示强度，证实了概念识别对 CNN 决策具有影响力，经常出现在少数场景中的理解程度高的概念表明了正确决策，但认识到许多场景中共同的概念可能会误导 CNN。

    Nov, 2017

  • 通过识别具有预测信息的输入特征进行细粒度神经网络解释

    该研究提出一种通过在神经网络输入域上引入瓶颈层，精细地识别输入特征信息的方法，用以衡量输入特征的重要性和网络预测的相关性。研究表明该方法对网络结构不敏感，并结合主流的特征归因方法进行了评估。

    Oct, 2021

  • VisualBackProp: 有效可视化卷积神经网络

    该研究提出了一种名为 VisualBackProp 的新方法，用于实时可视化基于卷积神经网络（CNN）的系统中哪些输入像素集对预测结果产生最大影响，通过探索特征映射中趋于不重要的信息，该方法可以计算速度快于传统的正向传递方法，并可作为一种有价值的调试工具进行训练与推断。

    Nov, 2016

  • 建立可靠的神经网络解释：模型解释的局部平滑视角

    本研究提出了一种基于光滑景观的预测且稳定的神经网络模型解释方法，通过批量学习噪声复制品并采用 L1 规范化方法对显著性地图进行训练，使模型学习得到局部光滑模型解释，有效地找出与预测结果相关的输入要素并且在对抗样本测试中表现优异。

    Mar, 2021

  • 可解释的网络可视化：基于人机协同的 CNN 图像分类后续解释方法

    通过引入一种后置方法，我们解释了卷积神经网络的整个特征提取过程，并包含了一组通过众包活动和自然语言处理技术提取并处理的文本标签，在多幅图像中聚合标签以生成全局解释。

    May, 2024