神经激活模式（NAPs）：学习概念的视觉可解释性

Jun, 2022

神经激活模式（NAPs）：学习概念的视觉可解释性

Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts

Alex Bäuerle, Daniel Jönsson, Timo Ropinski

TL;DR通过提取神经网络层中高维激活空间内相似的激活特点，我们找到了一些被对待相似的输入群体，这些输入群体代表神经激活模式 (NAPs)，并可用于可视化和解释学习层概念，从而实现了神经网络的分析方法的互补。

Abstract

A key to deciphering the inner workings of neural networks is understanding what a model has learned. Promising methods for discovering learned features are based on analyzing activation values, whereby current t

neural networks activation values layer-level concept discovery neural activation patterns visual introspection tool

发现论文，激发创造

走向可靠的神经规格

使用神经表示作为规范的新系列，依赖于神经网络的固有信息 - 神经激活模式（NAP），而不是输入数据来指定神经网络预测的正确性和 / 或鲁棒性。

Oct, 2022

探索随机过程来理解人工神经网络中的激活模式

使用随机过程模型神经网络中的激活模式，从而提供关于网络行为的有价值洞见。

Aug, 2023

学习神经网络验证的最小 NAP 规范

给定一个神经网络，找到足以形式验证网络鲁棒性的最小（最粗略）NAP。

Apr, 2024

TopoAct: 深度学习激活形状的可视化探索

本文使用拓扑数据分析探究深度神经网络内部层的神经元激活，使用 TopoAct 可视化系统展示获取的激活向量的拓扑信息，为深度神经网络学习表示提供有价值的洞见和可视化工具。

Dec, 2019

理解概念激活向量：解释可解释性

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

使用概念归纳解释深度学习隐藏神经元的激活过程

本文通过使用来自维基百科概念层次结构的近 200 万类别级的大规模背景知识与一种称为 “概念归纳” 的符号推理方法，提出并演示了一种方法来自动附加有意义的标签到卷积神经网络的密集层中的个别神经元，以实现对神经元激活的解释。

Jan, 2023

关于标记数据和符号方法在隐藏神经元激活分析中的价值

通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战：准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题，揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法，通过使用约 200 万个类别的维基百科派生的概念层次结构作为背景知识，并利用 OWL 推理进行解释生成。研究结果表明，该方法在定量和定性方面与先前的方法相比，为密集层的个别神经元自动添加有意义的类别表达式作为解释，具有竞争优势。

Apr, 2024

关于激活规则的 GNN 可解释性研究

GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色，但其部署的主要障碍在于社会可接受性和可信度问题，我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知，以解决这一问题，并介绍了主观激活模式领域。通过信息论的基于背景知识的方法来确定激活规则的兴趣度，从而揭示了 GNN 用于分类图的特征和不同层所构建的隐藏特征，同时这些规则还可用于解释 GNN 的决策。实验结果表明在合成和真实数据集上，这些规则在解释图分类方面具有高竞争性，可提高 200% 的准确度。

Jun, 2024

从神经激活到概念：关于解释神经网络中的概念的调查

综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

Oct, 2023

利用结构化背景知识和演绎推理理解 CNN 隐藏神经元激活

解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

Aug, 2023