ICMLJun, 2019

从 CNN 中提取可解释的基于概念的决策树

PDF
TL;DR该论文提出了一种从 CNN 隐藏层激活中推断标记的概念数据并通过浅层决策树解释这些概念的方法，这可以提供关于 CNN 模型认为重要的概念以及这些概念如何相互作用的信息，实验表明提取的决策树在树深度较低时能够准确地代表原始 CNN 的分类，从而有助于人们理解有区分力的概念。
发现论文，激发创造
  • 利用决策树解释卷积神经网络

    本文介绍了一种利用决策树定量解释预训练卷积神经网络的预测理由的方法，通过分解 CNN 高卷积层的特征表示为对象部件的基本概念的方式，使决策树告诉人们哪些对象部分激活了哪些滤波器以及它们对预测得分的贡献有多大。

    Feb, 2018

  • 使用非负概念激活向量和决策树进行基于概念的卷积神经网络模型解释

    本文通过基于概念提取的解释器训练决策树，以增加 CNN 模型的可解释性并提高解释器的保真度和性能。研究表明，Tree-ICE 在可解释性方面胜过基准，并生成更易读的模式解释。

    Nov, 2022

  • 卷积神经网络通过决策树对特征图进行知识蒸馏

    通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

    Mar, 2024

  • 层次语义树概念白化用于可解释的图像分类

    通过在深度模型中主动注入知识，使用语义概念的层次树规范化图像数据实例的表达方式，提高模型可解释性，改善语义概念的分离，并不会对模型的分类性能产生负面影响。

    Jul, 2023

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021

  • 利用结构化背景知识和演绎推理理解 CNN 隐藏神经元激活

    解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

    Aug, 2023

  • 卷积神经网络上的代表性解释发现

    本文提出一种基于无监督学习的方法来解释大量相似图像中深度卷积神经网络的决策逻辑，并将代表性解释问题转化为一种共聚类问题，并基于线性决策边界的样本将其转化为子模代价覆盖问题。我们还提供了可视化和相似性排序方法，广泛的实验证明了本方法的优秀表现。

    Aug, 2021

  • 基于医学概念的图神经网络的认知解释器

    本研究提出一种基于医学概念的可解释卷积神经网络框架，可用于识别超声标准平面，并构建关键医学概念之间的关系，从医生的认知角度解释，并在实验中取得了实质性的解释性能提升。

    Jan, 2022

  • 树形推理：使用层次结构解释卷积神经网络

    使用层次分割技术构建模型解释框架，提供可信和可解释的卷积神经网络 (CNN) 解释，旨在增强 xAI 的可解释性和理解神经网络的决策过程。

    Jun, 2024

  • 将输入概念与卷积神经网络的决策联系起来

    本文探究了卷积神经网络 CNN 中通过对输入进行概念识别达到决策的关系，通过考察场景识别 CNN 对 ADE20k 数据集的训练结果，找到并评分给定输入概念的最小分布式表示强度，证实了概念识别对 CNN 决策具有影响力，经常出现在少数场景中的理解程度高的概念表明了正确决策，但认识到许多场景中共同的概念可能会误导 CNN。

    Nov, 2017