本研究利用公开结构化数据、借助现有语义网络技术，实现了对训练好的人工神经网络中输入 - 输出行为的解释，并提供了实验性的概念证明。

Oct, 2017

该研究介绍了语义特征作为一种完全可解释的神经网络层的概念框架，并提出了一个证明概念模型，解决了 MNIST 相关子问题，该模型由 4 个这样的层组成，具有 4.8K 个可学习参数，模型易于解释，在没有任何形式的对抗训练的情况下，实现了与人类级别的对抗测试准确性，需要很少的超参数调整，并且可以在单个 CPU 上快速训练，该技术具有通用性，有望实现对完全可推广的白盒神经网络的范式转变。

Mar, 2024

综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

Oct, 2023

利用多模态大型语言模型进行自动和无限的概念发现，既可以发现概念，又可以验证它们，为解释深度神经网络提供可信的自动化工具。

Jun, 2024

本文通过研究图神经网络（GNNs）中个别神经元的行为，提出新的度量方法和全局解释方法，证明 GNN 神经元充当概念探测器，在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性，将 GNNs 转换成易于理解的概念级别，提高模型的解释性和透明性，并通过实验证明了其优越性。

Aug, 2022

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

本文介绍了一种名为 Agglomerator 的框架，它可以通过视觉线索提供部分 - 整体层次结构的表示，并组织与类别之间的概念语义层次结构相匹配的输入分布，从而提高神经网络的可解释性。作者在 SmallNORB、MNIST、FashionMNIST、CIFAR-10 和 CIFAR-100 等常见数据集上进行了评估，并提供了比其他最先进方法更易解释的模型。

Mar, 2022

通过构建一个双向交互界面，利用结构化的视觉概念及其关系作为人与神经网络之间的知识交流的 “语言”，研究在解释性人工智能领域取得了一定成果，但目前尚未提供人与神经网络之间的有效方法，以解决神经网络的可解释性和人机知识交互之间的问题。实验证明，通过该交互界面，神经网络能够向人类提供易于理解的推理解释过程，并且人类的参与和先验知识能够直接有效地提升神经网络的性能。

Jan, 2024

本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

Sep, 2022

在这项工作中，我们介绍了 CoSy（概念合成）- 一种新颖的、与架构无关的框架来评估潜在神经元的文本解释的质量。通过给出的文本解释，我们提出的框架利用以文本输入为条件的生成模型创建表示文本解释的数据点。然后，将神经元对这些解释数据点的响应与对控制数据点的响应进行比较，从而提供给定解释的质量估计。我们通过一系列元评估实验确保了我们提出的框架的可靠性，并通过对计算机视觉任务的各种基于概念的文本解释方法进行基准测试产生了实际价值，结果表明测试的解释方法在质量上存在显著差异。

May, 2024