Nov, 2022

使用非负概念激活向量和决策树进行基于概念的卷积神经网络模型解释

PDF
TL;DR本文通过基于概念提取的解释器训练决策树，以增加 CNN 模型的可解释性并提高解释器的保真度和性能。研究表明，Tree-ICE 在可解释性方面胜过基准，并生成更易读的模式解释。
发现论文，激发创造
  • 从 CNN 中提取可解释的基于概念的决策树

    该论文提出了一种从 CNN 隐藏层激活中推断标记的概念数据并通过浅层决策树解释这些概念的方法，这可以提供关于 CNN 模型认为重要的概念以及这些概念如何相互作用的信息，实验表明提取的决策树在树深度较低时能够准确地代表原始 CNN 的分类，从而有助于人们理解有区分力的概念。

    Jun, 2019

  • 使用非负概念激活向量的卷积神经网络模型可逆基于概念的解释

    本文通过提出 invertible concept-based explanation 框架，并进行矩阵分解的性能评估，使用非负矩阵分解提供卓越表现的非负概念激活向量来提供预训练 CNN 模型的局部和全局概念级解释。

    Jun, 2020

  • 利用决策树解释卷积神经网络

    本文介绍了一种利用决策树定量解释预训练卷积神经网络的预测理由的方法，通过分解 CNN 高卷积层的特征表示为对象部件的基本概念的方式，使决策树告诉人们哪些对象部分激活了哪些滤波器以及它们对预测得分的贡献有多大。

    Feb, 2018

  • 树形推理：使用层次结构解释卷积神经网络

    使用层次分割技术构建模型解释框架，提供可信和可解释的卷积神经网络 (CNN) 解释，旨在增强 xAI 的可解释性和理解神经网络的决策过程。

    Jun, 2024

  • 神经网络的以人为本的概念解释

    该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

    Feb, 2022

  • 基于医学概念的图神经网络的认知解释器

    本研究提出一种基于医学概念的可解释卷积神经网络框架，可用于识别超声标准平面，并构建关键医学概念之间的关系，从医生的认知角度解释，并在实验中取得了实质性的解释性能提升。

    Jan, 2022

  • 层次语义树概念白化用于可解释的图像分类

    通过在深度模型中主动注入知识，使用语义概念的层次树规范化图像数据实例的表达方式，提高模型可解释性，改善语义概念的分离，并不会对模型的分类性能产生负面影响。

    Jul, 2023

  • 基于概念的模型改进方法综述

    最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

    Mar, 2024

  • 理解概念激活向量：解释可解释性

    使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

    Apr, 2024

  • 卷积神经网络通过决策树对特征图进行知识蒸馏

    通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

    Mar, 2024