使用概念归纳解释深度学习隐藏神经元的激活过程

IJCAIJan, 2023

使用概念归纳解释深度学习隐藏神经元的激活过程

Explaining Deep Learning Hidden Neuron Activations using Concept Induction

Abhilekha Dalal, Md Kamruzzaman Sarker, Adrita Barua, Pascal Hitzler

TL;DR本文通过使用来自维基百科概念层次结构的近 200 万类别级的大规模背景知识与一种称为 “概念归纳” 的符号推理方法，提出并演示了一种方法来自动附加有意义的标签到卷积神经网络的密集层中的个别神经元，以实现对神经元激活的解释。

Abstract

One of the current key challenges in explainable ai is in correctly interpreting activations of hidden neurons. It seems evident that accurate interpretations thereof would provide insights into the question what

explainable ai hidden neurons deep learning system concept induction convolutional neural network

发现论文，激发创造

利用结构化背景知识和演绎推理理解 CNN 隐藏神经元激活

解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

Aug, 2023

关于标记数据和符号方法在隐藏神经元激活分析中的价值

通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战：准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题，揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法，通过使用约 200 万个类别的维基百科派生的概念层次结构作为背景知识，并利用 OWL 推理进行解释生成。研究结果表明，该方法在定量和定性方面与先前的方法相比，为密集层的个别神经元自动添加有意义的类别表达式作为解释，具有竞争优势。

Apr, 2024

从神经激活到概念：关于解释神经网络中的概念的调查

综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

Oct, 2023

通过自编码激活实现深度神经网络的因果学习和解释

通过构建深度神经网络中的因果模型并使用自动编码器提取关键概念作为变量，我们开发了一种解释神经网络输出预测的方法，并使用该因果模型识别和可视化对最终分类具有显着因果影响的特征。

Feb, 2018

隐层神经元激活标签的误差边界分析

人工神经网络中高级概念的表示是人工智能领域中的一个基本挑战，解释性人工智能的现有文献强调了用概念标签化神经元以理解其功能的重要性，但它们主要关注识别刺激激活神经元的是什么，而我们认为这只是两个任务中的第一个，还有必要研究神经元对其他刺激的响应，即它们的精确性，我们称之为神经元标签误差边界。

May, 2024

神经网络的以人为本的概念解释

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

层次化神经元概念解释器

本文提出一种名为 HIerarchical Neuron concepT explainer (HINT) 的新方法，该方法在低成本和可扩展的情况下建立神经元和分层概念之间的双向关联，旨在通过验证弱监督目标定位来验证相关性，并演示了其在发现显着区域和解释对抗性攻击等各种任务中的适用性。

Mar, 2022

理解概念激活向量：解释可解释性

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

使用大型模型对深度视觉神经元进行自动化自然语言解释

通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

Oct, 2023

基于熵的神经网络逻辑解释

该论文提出了一种基于熵的标准及一种新的端到端可微分的方法，用于从概念神经网络中提取逻辑解释，该方法使用一阶逻辑的形式化定义，并考虑了四个案例研究来证明这种熵基准能够从临床数据到计算机视觉中，在安全关键领域中提取简洁的逻辑解释。

Jun, 2021