中间特征联盟是否有助于黑盒模型的可解释性?
使用人类可以理解的概念构建解释的基于概念的可解释性方法为深度学习系统提供了洞察力。通过分析基于概念模型学习的概念表示,我们发现现有的方法缺乏稳定性和鲁棒性,无法准确捕捉概念间的关系。因此,我们提出了一种新算法,利用概念间的关系来提高概念干预的准确性,并展示了正确捕捉概念间关系如何改善后续任务。
May, 2024
我们提出了一种模型无关的可解释替代方案,用于全局和局部解释黑盒分类器。该替代方案使用相关系数自动发现变量的直观分组,并将其嵌入到替代决策树中,以提高其可理解性。在宏观经济数据库上的实验结果表明,在保持替代模型准确性和保真度的同时,该方案提高了人类可解释性。
Jun, 2019
通过在深度模型中主动注入知识,使用语义概念的层次树规范化图像数据实例的表达方式,提高模型可解释性,改善语义概念的分离,并不会对模型的分类性能产生负面影响。
Jul, 2023
介绍了一种中间嵌入概念学习的机器学习模型,其预测性能可以和黑盒预测模型相媲美,但是这些模型学习到的概念表示却可能包含超越预定义概念所能描述的信息,进而导致预测解释存在误导性,研究探讨了信息泄漏的机理,并建议了有效的应对方法。
Jun, 2021
本文提出一种深度监督方法,通过利用中间概念对 CNN 的隐藏层进行监督,将先前的领域结构融入到神经网络训练中,显著提高了推广能力。该方法还可以仅使用合成场景来训练,并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。
Jan, 2018
该论文研究了如何利用深度学习神经网络中学习到的内在特征,利用概念分析方法和归纳逻辑编程理论,构建基于符号的模型,实现黑盒机器学习的可解释性,体现其透明度和可靠性的要求。
May, 2021
利用深度学习算法设计了一种多层次概念发现框架,允许人类理解的概念在决策过程中高度解释性,通过图像 - 文本模型和基于数据驱动和稀疏的贝叶斯算法进行多层次概念选择,实验结果表明这种构建不仅胜过最近的 CBM 方法,而且为解释性提供了一个有原则的框架。
Oct, 2023
从高维数据(例如图像)中学习概念对于构建与人工智能模型相符且可解释的机器学习模型具有潜力。本研究通过将概念形式化为离散潜在因果变量,并使用嵌入在高维数据中的概念的层次因果模型来提供理论洞见与条件,以促进从无监督数据中学习这些概念的可行性。通过合成数据实验证实我们的理论观点,并讨论了对理解潜在扩散模型的潜在机制的影响,同时提供了相应的经验证据。
Jun, 2024