GCPV: 用于解释检查 CNN 特征空间的导向概念投影向量

Nov, 2023

GCPV: 用于解释检查 CNN 特征空间的导向概念投影向量

GCPV: Guided Concept Projection Vectors for the Explainable Inspection of CNN Feature Spaces

Georgii Mikriukov, Gesina Schwalbe, Christian Hellert, Korinna Bade

TL;DR提出了一种名为 GCPV（local-to-global Guided Concept Projection Vectors）的方法，该方法通过生成局部概念向量并将其推广为全局概念向量，来解决计算机视觉卷积深度神经网络（CNN）的可解释性和调试问题。该方法在目标检测方面表现出改进的性能，并且对于低质量的概念分割标签也具有鲁棒性。通过 GCPVs，能够找到造成概念混淆的根本原因，揭示有趣的概念级别异常值，为模型调试和数据优化提供了有希望的方法。

Abstract

For debugging and verification of computer vision convolutional deep neural networks (CNNs) human inspection of the learned latent representations is imperative. Therefore, state-of-the-art eXplainable Artificial

convolutional deep neural networks xai methods latent representations debugging concept segmentation labels

发现论文，激发创造

理解概念激活向量：解释可解释性

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

通过潜在空间分解揭示独特的概念向量

该论文提出一种后期无监督方法，通过分解和聚类方法，自动发现深度学习模型中的概念向量，从而支持可解释性分析，可以成功鉴别与疏离数据有关的训练样本

Jul, 2023

通过引导概念学习实现可理解的卷积神经网络

该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

Jan, 2021

使用非负概念激活向量的卷积神经网络模型可逆基于概念的解释

本文通过提出 invertible concept-based explanation 框架，并进行矩阵分解的性能评估，使用非负矩阵分解提供卓越表现的非负概念激活向量来提供预训练 CNN 模型的局部和全局概念级解释。

Jun, 2020

通用视觉模型的网络监督概念扩展

本文介绍了一种有效且廉价的方法：利用监督数据集学习技能，利用网络图像搜索学习概念，再利用 GPV 跨技能传递视觉知识，以实现 web-based 的概念扩展；同时，提出了支持各种任务的新架构 GPV-2，在多项基准测试中表现优异。

Feb, 2022

测试语义全局概念的模型检测

黑盒深度神经网络 (DNNs) 的质量保证变得越来越重要，特别是在自动驾驶等安全关键领域。通过将全局概念编码与单个网络输入的局部处理联系起来，我们提出了一个名为全局到局部概念归因 (glCA) 的框架，利用局部可解释人工智能 (xAI) 的方法来测试 DNNs 在预定义的语义概念上的局部性。该方法可以将局部、事后解释与在模型的潜在空间中以线性方向编码的预定义语义概念相条件联结。关于全局概念使用的像素精确评分有助于理解模型处理所选概念单个数据点的方式。我们的方法具有全面覆盖语义概念的模型内部编码和定位相关概念相关信息的优势。结果显示在局部感知和使用个别全局概念编码方面存在重大差异，并需要进一步研究以获得全面的语义概念编码。

May, 2024

组织学中用于双向解释的回归概念向量

提出了一种利用连续概念测量作为回归概念向量 (RCVs) 的方法，在一个层的激活空间中，沿着 RCVs 的决策函数方向导数表示网络对给定概念测量值的敏感度，在应用于乳腺癌分级时，细胞核纹理测量作为检测乳腺淋巴结样本肿瘤组织的相关概念浮现。通过统计分析评估得分的稳健性和一致性。

Apr, 2019

强韧的语义可解释性：重新审视概念激活向量

该研究提出了一种基于 Robust Concept Activation Vectors 的诠释方法，用于评估图像分类模型的可靠性和模型是否存在系统偏差。该方法关注语义概念，如纹理、颜色和性别等，通过梯度上升来评估模型对给定概念的敏感性，并构建了两个基准数据集来评估本方法的实际可用性和科学用途。

Apr, 2021

PatClArC：使用模式概念激活向量进行噪声鲁棒性模型调试

本文介绍了一种名为 PCAV 的模式概念激活向量，用于在潜在空间中实现噪声鲁棒的概念表示，并证明了基于模式的人工建模对 CAVs 的应用具有有益的影响。

Feb, 2022

通过概念特定的解释揭示分割和物体检测中的隐藏上下文偏差

本文提出了后续可解释的人工智能方法 L-CRP，可以生成更细致的解释，自动识别和可视化模型在推理过程中学习、识别和使用的相关概念，并在输入空间中精确定位它们，进而揭示和验证背景特征的使用和存在，并说明对各个流行数据集的效果。

Nov, 2022