概念模型中的概念关系理解

ICMLMay, 2024

Understanding Inter-Concept Relationships in Concept-Based Models

Naveen Raman, Mateo Espinosa Zarlenga, Mateja Jamnik

TL;DR使用人类可以理解的概念构建解释的基于概念的可解释性方法为深度学习系统提供了洞察力。通过分析基于概念模型学习的概念表示，我们发现现有的方法缺乏稳定性和鲁棒性，无法准确捕捉概念间的关系。因此，我们提出了一种新算法，利用概念间的关系来提高概念干预的准确性，并展示了正确捕捉概念间关系如何改善后续任务。

Abstract

concept-based explainability methods provide insight into deep learning systems by constructing explanations using human-understandable concepts. While the literature on human reasoning demonstrates that we exploit relationships between concepts when solving tasks, it is unclear whethe

concept-based explainability methods deep learning systems concept representations inter-concept relationships downstream tasks

发现论文，激发创造

基于概念的模型改进方法综述

最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

Mar, 2024

基于关系概念的模型

我们提出了一种解决关系领域中可解释深度学习模型设计问题的方法：关系概念模型（Relational Concept-Based Models）。实验结果表明，关系概念模型与现有的关系黑匣子模型在泛化性能上相匹配，并支持生成定量概念解释，有效地响应测试时干预，并适应多种严苛环境，包括分布不均、训练数据有限和概念监督不足。

Aug, 2023

神经网络的以人为本的概念解释

该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

Feb, 2022

有意义的模型：利用概念结构提高机器学习的可解释性

本文探讨如何利用概念和意义的构建方式来创建更易理解的机器学习模型，通过提出分类概念的新方法，即 “形式” 和 “功能”，阐明了意义的本质，并提出了提高模型可理解性的建议。

Jul, 2016

自动基于概念的解释

提出了概念解释的原则和求解算法 ACE，能够系统性地通过可视化概念提供对深度神经网络预测的重要性的人类可解释性解释。

Feb, 2019

将知识表征映射到概念：回顾与新视角

该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

Dec, 2022

学习可解释概念：统一因果表示学习与基础模型

通过结合因果表示学习和理解如何从数据中学习可理解概念的思想，本研究正式定义了一个概念的概念，并证明了它们可以从多样数据中被可靠地还原，合成数据和大型语言模型上的实验表明了我们统一方法的实用性。

Feb, 2024

利用人类反馈学习可解释的基于概念的模型

提出了一种透明的机器学习模型学习方法，使用用户的反馈来标记概念特征，从而生成透明的概念定义，以提高模型的可解释性和预测性能。

Dec, 2020

知识图谱用于实证概念检索

基于概念的可解释人工智能利用经验性定义的概念和通用知识图谱，为用户提供个性化的解释方式，并通过基于经验概念数据集的概念激活向量和概念激活区域方法来提供稳健准确的解释。

Apr, 2024

正确的概念：通过与其解释交互来修订神经符号概念

该研究提出了一种基于神经符号场景表征的解释交互学习方法，它能够在语义层面上对模型进行干预，通过对物体的组合性解释来获得更好的效果。

Nov, 2020