GLANCE:全球到本地的、架构中立的基于概念的解释
本文提出了一个新的概念性系统,利用一定数量的超像素图像作为输入,可以自动学习、评分和提取局部和全局概念,在提高性能的同时,深入了解预测并阐明误分类。
Jun, 2023
该论文提出了一种新颖的概念学习框架,用于增强视觉分类任务中模型的可解释性和性能,通过将非监督解释生成器附加到主分类器网络中,并利用对抗训练的方式,使模型从潜在表征中提取视觉概念并与人可解释的视觉属性隐式对齐,该方法的实验结果验证了其稳健性和产生一致的概念激活,同时研究了对抗训练协议中的扰动对分类和概念获取的影响,从而实现了构建具有任务对齐概念表征的内在可解释深度视觉模型的显著进展,为开发可信任的用于真实感知任务的人工智能提供了关键支持。
Jan, 2024
通过从图神经网络的预测中提取全局概念解释的方法,我们提出了一种超越提高信任和验证模型公平性的 xAI 实践,还能够在几乎没有人类先验直觉的应用领域中发现有价值的科学见解,从而对结构 - 性质关系的任务进行更深入的理解。
Apr, 2024
本研究探讨了一种利用潜在特征产生对照解释的新方向,通过添加新特征改变分类结果的方法进行预测的解释,证明了该方法在样本丰富的数据集上产生的直观解释优于其他方法,并可作为目前最先进的解释性方法的补充。
May, 2019
黑盒深度神经网络 (DNNs) 的质量保证变得越来越重要,特别是在自动驾驶等安全关键领域。通过将全局概念编码与单个网络输入的局部处理联系起来,我们提出了一个名为全局到局部概念归因 (glCA) 的框架,利用局部可解释人工智能 (xAI) 的方法来测试 DNNs 在预定义的语义概念上的局部性。该方法可以将局部、事后解释与在模型的潜在空间中以线性方向编码的预定义语义概念相条件联结。关于全局概念使用的像素精确评分有助于理解模型处理所选概念单个数据点的方式。我们的方法具有全面覆盖语义概念的模型内部编码和定位相关概念相关信息的优势。结果显示在局部感知和使用个别全局概念编码方面存在重大差异,并需要进一步研究以获得全面的语义概念编码。
May, 2024
该研究提出了一种名为 GAM 的方法,可以生成全局归因,解释神经网络预测的全局地貌。该方法在仿真数据和真实数据上得到了验证,并且通过用户研究证明了对实践者的直观性,以提高神经网络决策的透明度。
Feb, 2019
GLGExplainer 是一种全局解释器,它能够生成作为图形概念逻辑公式的本地解释的任意布尔组合,从而提供准确和人类可解释的全局解释,这使得 GLGExplainer 成为有前途的用于学习 GNN 的诊断工具。
Oct, 2022
本文提出了一种适用于 GNN 节点和图分类的自动套路解释方法 GCExplainer,通过将人放入循环中,实现了对 GNN 的全局解释,实验表明该方法较 GNNExplainer 具有更高质量的概念表示和提供了更深刻的数据集和模型分析。
Jul, 2021
本文通过研究图神经网络(GNNs)中个别神经元的行为,提出新的度量方法和全局解释方法,证明 GNN 神经元充当概念探测器,在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性,将 GNNs 转换成易于理解的概念级别,提高模型的解释性和透明性,并通过实验证明了其优越性。
Aug, 2022
该论文研究了如何利用深度学习神经网络中学习到的内在特征,利用概念分析方法和归纳逻辑编程理论,构建基于符号的模型,实现黑盒机器学习的可解释性,体现其透明度和可靠性的要求。
May, 2021