充分与必要的解释(以及它们之间的内容)
本研究对比了使用内置机制(如注意力值)和近似模型行为的事后方法(如LIME)产生的分类器特征重要性,发现无论使用哪种方法,传统模型如SVM和XGBoost的重要特征更相似,而与深度学习模型不同;事后方法往往会比内置方法生成更相似的重要特征。重要的是,当两个模型在预测标签上达成一致时,重要的特征不一定更相似。
Oct, 2019
采用博弈论方法计算机器学习模型特征重要性的数学问题存在和Shapley值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。
Feb, 2020
本研究探索了通过特征的预测能力定义特征重要性的视角,提出了两种预测能力的概念(模型基础和通用),并通过添加重要性度量的框架来规范化该方法。我们提出了一个模型不可知的方法SAGE,量化预测能力同时考虑特征交互,并发现它比其他方法分配更准确的重要性值。
Apr, 2020
本篇研究提出了多维特征重要性(FI)解释的新方法,包括改进训练过程、比较不同特征移除方法、引入四种基于搜索的方法来识别FI解释。在六个文本分类数据集上的实验表明,引入的平行本地搜索(PLS)方法是唯一能够持续优于随机搜索的方法,FI解释的改进也大幅提升了分类性能。
Jun, 2021
本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差,并指出在某些分类器的情况下,计算严格特征归因值的有效算法的存在性应被视为不太可能。
Feb, 2023
本文提出了一种新的算法方法,将Shapley值中两种不同的解释组合在一起,以增强模型的说明能力,并在两个真实世界的数据集上应用。
Jun, 2023
这篇论文提出了一个简单的论点:Shapley值可能会给出误导性的相对特征重要性量度,从而不仅会将更多的重要性分配给与预测无关的特征,而且会给与与预测相关的特征更少的重要性,这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。
Jun, 2023
本研究解决了机器学习模型在解释数据生成过程(DGP)时的不足之处,尽管模型预测准确。提出的Shapley边际剩余算法通过采样可能的模型空间,提供了一种新的特征重要性度量,显著优于其他流行的特征重要性方法。研究结果表明,该算法在推断能力上具有显著优势。
Aug, 2024