最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

Mar, 2024

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

通过对 C-XAI 方法进行 thorough review，本文提供了分类体系、选择指南和常见评估策略，旨在促进可解释人工智能领域的发展。

Dec, 2023

本文提出一种新的概念激活区（CAR）的建立方式，通过采用核技巧和支持向量分类器来实现 CAR 的建立，以实现全局的概念解释和局部的概念特征重要性，经实证证明 CAR 可以更准确地描述 DNN 的潜在空间中的概念分布，并且可以用于 DNN 自行学习已知的科学概念，例如前列腺癌分级系统

Sep, 2022

通过从图神经网络的预测中提取全局概念解释的方法，我们提出了一种超越提高信任和验证模型公平性的 xAI 实践，还能够在几乎没有人类先验直觉的应用领域中发现有价值的科学见解，从而对结构 - 性质关系的任务进行更深入的理解。

Apr, 2024

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的 CA 定义和分类，总结了 30 多种相关方法和 15 个数据集，同时指出了未来研究方向和挑战。

Mar, 2022

介绍了知识图谱嵌入的概念，生成和评估，总结了用于在向量空间中表示知识的方法，讨论了预测模型的解释性问题和解决方法。

Apr, 2020

了解可理解的人工智能应用于知识图谱的历史、区分和研究现状，并识别未来研究的空白。

Apr, 2024

应用概念激活向量（CAVs）方法，本研究旨在理解深度学习模型内部状态，进而解释大规模变压器模型中的脑电图（EEG）数据，通过定义解释性概念和选择相关数据集来建立概念在潜在空间中的基础。研究结果表明，外部标记的 EEG 数据集和解剖学定义的概念形成是两种有效的机制。

Jul, 2023