概念激活区域：基于概念的解释的通用框架

Sep, 2022

概念激活区域：基于概念的解释的通用框架

Concept Activation Regions: A Generalized Framework For Concept-Based Explanations

Jonathan Crabbé, Mihaela van der Schaar

TL;DR本文提出一种新的概念激活区（CAR）的建立方式，通过采用核技巧和支持向量分类器来实现 CAR 的建立，以实现全局的概念解释和局部的概念特征重要性，经实证证明 CAR 可以更准确地描述 DNN 的潜在空间中的概念分布，并且可以用于 DNN 自行学习已知的科学概念，例如前列腺癌分级系统

Abstract

concept-based explanations permit to understand the predictions of a deep neural network (DNN) through the lens of concepts specified by users. Existing methods assume that the examples illustrating a concept are mapped in a fixed direction of the DNN's latent space. When this holds tr

concept-based explanations deep neural network concept activation region kernel trick scientific concepts

发现论文，激发创造

理解概念激活向量：解释可解释性

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

神经网络的以人为本的概念解释

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

探索概念空间贡献：基于空间激活概念向量的隐藏层解释

本文提出了一种基于 TCAV 的新模型 SACV，在定位输入图像中概念区域的基础上，细粒度地解释深度学习模型的预测结果，从而避免了背景特征对模型解释的干扰。

May, 2022

使用非负概念激活向量的卷积神经网络模型可逆基于概念的解释

本文通过提出 invertible concept-based explanation 框架，并进行矩阵分解的性能评估，使用非负矩阵分解提供卓越表现的非负概念激活向量来提供预训练 CNN 模型的局部和全局概念级解释。

Jun, 2020

基于概念的脑电波变压器模型解释能力

应用概念激活向量（CAVs）方法，本研究旨在理解深度学习模型内部状态，进而解释大规模变压器模型中的脑电图（EEG）数据，通过定义解释性概念和选择相关数据集来建立概念在潜在空间中的基础。研究结果表明，外部标记的 EEG 数据集和解剖学定义的概念形成是两种有效的机制。

Jul, 2023

概念激活向量（Concept Activation Vectors）的数量化测试：超越特征归属的可解释性（Interpretability Beyond Feature Attribution）

通过引入概念激活向量 (CAVs) 来解释深度学习模型的内部状态，通过 TCAV 技术使用方向导数量化用户定义的概念对分类结果的重要程度，从而探索研究标准图像分类网络和医学应用。

Nov, 2017

知识图谱用于实证概念检索

基于概念的可解释人工智能利用经验性定义的概念和通用知识图谱，为用户提供个性化的解释方式，并通过基于经验概念数据集的概念激活向量和概念激活区域方法来提供稳健准确的解释。

Apr, 2024

基于概念激活向量的深度学习皮肤病变分类器可解释性研究

该研究使用了一个经过训练的神经网络，通过激活向量概念来介绍了深度学习的医学图像分类器，以验证模型学习和利用类似于皮肤科医师所描述和使用的疾病相关概念，并且进一步开发 CAV 的神经网络。

May, 2020

强韧的语义可解释性：重新审视概念激活向量

该研究提出了一种基于 Robust Concept Activation Vectors 的诠释方法，用于评估图像分类模型的可靠性和模型是否存在系统偏差。该方法关注语义概念，如纹理、颜色和性别等，通过梯度上升来评估模型对给定概念的敏感性，并构建了两个基准数据集来评估本方法的实际可用性和科学用途。

Apr, 2021

测试语义全局概念的模型检测

黑盒深度神经网络 (DNNs) 的质量保证变得越来越重要，特别是在自动驾驶等安全关键领域。通过将全局概念编码与单个网络输入的局部处理联系起来，我们提出了一个名为全局到局部概念归因 (glCA) 的框架，利用局部可解释人工智能 (xAI) 的方法来测试 DNNs 在预定义的语义概念上的局部性。该方法可以将局部、事后解释与在模型的潜在空间中以线性方向编码的预定义语义概念相条件联结。关于全局概念使用的像素精确评分有助于理解模型处理所选概念单个数据点的方式。我们的方法具有全面覆盖语义概念的模型内部编码和定位相关概念相关信息的优势。结果显示在局部感知和使用个别全局概念编码方面存在重大差异，并需要进一步研究以获得全面的语义概念编码。

May, 2024