最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

Mar, 2024

该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果，研究发现人类能够更好地理解和预测系统决策，从而使深度模型的调试和部署更加可靠。

Apr, 2022

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

该研究提出了一种名为 VisualBackProp 的新方法，用于实时可视化基于卷积神经网络（CNN）的系统中哪些输入像素集对预测结果产生最大影响，通过探索特征映射中趋于不重要的信息，该方法可以计算速度快于传统的正向传递方法，并可作为一种有价值的调试工具进行训练与推断。

Nov, 2016

综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

Oct, 2023

该论文介绍了概念相关传播 (CRP) 方法，该方法结合了本地和全局 XAI 的观点，从而允许回答单个预测的 “何时” 和 “何物” 的问题，而无需施加其他限制。作者进一步介绍了相关性最大化的原则，以找到编码概念的有用代表性示例。作者演示了该方法在各种不同的设置中的能力，展示了概念相关传播和相关性最大化如何通过概念地图、概念组合分析和概念子空间的量化调查及其在细粒度决策中的作用，提供更人性化的解释和深入的模型表示和推理见解。

Jun, 2022

利用自我解释的架构跨领域进行概念学习，提出新的概念显著网络、对比学习和基于原型的概念基准规范化方法来解决概念一致性和泛化能力的问题，并在四个实际数据集上展示了方法的有效性。

May, 2024

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024

该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

Dec, 2022

该论文介绍了一种基于自监督学习和定制的正则化器来实现图像分类任务中深度神经网络解释性的 Bottleneck Concept Learner 方法。

Apr, 2023