通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战：准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题，揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法，通过使用约 200 万个类别的维基百科派生的概念层次结构作为背景知识，并利用 OWL 推理进行解释生成。研究结果表明，该方法在定量和定性方面与先前的方法相比，为密集层的个别神经元自动添加有意义的类别表达式作为解释，具有竞争优势。

Apr, 2024

本文通过使用来自维基百科概念层次结构的近 200 万类别级的大规模背景知识与一种称为 “概念归纳” 的符号推理方法，提出并演示了一种方法来自动附加有意义的标签到卷积神经网络的密集层中的个别神经元，以实现对神经元激活的解释。

Jan, 2023

解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

Aug, 2023

在本文中，我们展示了解释神经元模型内部工作的方法通常仅关注最高激活水平是不足够的，并且最高激活范围只负责神经元因果效应的很小百分比。我们提出神经元应该被理解为概念的线性组合，并开发了一种高效的方法来生成这些线性解释。此外，我们展示了如何使用模拟自动评估描述质量，即在视觉设置中预测神经元对未知输入的激活。

May, 2024

综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

Oct, 2023

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

该论文提出了一种基于熵的标准及一种新的端到端可微分的方法，用于从概念神经网络中提取逻辑解释，该方法使用一阶逻辑的形式化定义，并考虑了四个案例研究来证明这种熵基准能够从临床数据到计算机视觉中，在安全关键领域中提取简洁的逻辑解释。

Jun, 2021

该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

Jan, 2022

本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。

Apr, 2020

利用多模态大型语言模型进行自动和无限的概念发现，既可以发现概念，又可以验证它们，为解释深度神经网络提供可信的自动化工具。

Jun, 2024