回归模型的删除和插入测试
本文批判性地分析了 Petsiuk 等人提出的 Deletion Area Under Curve (DAUC) 和 Insertion Area Under Curve (IAUC) 度量方法,在评估深度学习模型的可解释性方法的时候,这些方法忽略了显著性分数的实际值,并且可能会导致模型表现不可靠。为此,提出了新的量化解释方法的基于稀疏性和校准性的度量方法,并讨论了如何在用户研究中评估这些方法。
Jan, 2022
本篇研究提出了多维特征重要性(FI)解释的新方法,包括改进训练过程、比较不同特征移除方法、引入四种基于搜索的方法来识别 FI 解释。在六个文本分类数据集上的实验表明,引入的平行本地搜索(PLS)方法是唯一能够持续优于随机搜索的方法,FI 解释的改进也大幅提升了分类性能。
Jun, 2021
本文介绍了可解释人工智能(XAI)的核心目标,即根据预测结果赋予机器学习模型特征的相对重要性。通过对功能归属的精确计算,研究表明该任务是非常重要的,并且之前提出的一些公理化聚合代表了过去研究中探讨的多个权力指数示例。此外,本文探讨了如何将一些广泛使用的权力指数用作特征重要性评分,并提出了满足可解释人工智能的新颖特征重要性评分。最后,文章对最知名的权力指数在提出的指标方面进行了深入分析。
May, 2024
基于多重假设检验的思想,我们提出了一种特征归因方法 RankSHAP,能够以高概率正确排列最重要的特征,同时保证了计算效率。在实证结果中,我们还基于之前的工作为 LIME 扩展了类似的结果,确保以正确的顺序选择最重要的特征。
Jan, 2024
通过优化深度神经网络的预测性能,我们提出了插入与删除度量感知的基于解释的优化方法(ID-ExpO),使得流行的后置解释器能够产生更忠实且易于理解的解释,同时保持高的预测准确性。
Oct, 2023
本文比较两种解释系统(SHAP 和 LIME)的解释一致性,使用 14 种机器学习模型和 4 个数据集进行了实验,并得出两个结论:解释重要性的大小不重要;SHAP 和 LIME 重要性得分的相似度不能预测模型的准确性。此外,本文构建了一个名为 XAISuite 的开源库,为训练和解释模型提供统一的流程,并提出了一个通用框架来更好地解释机器学习模型并优化它们的性能。
Apr, 2023
本文介绍了共有十种 feature attribution 方法,其中七种是 class-dependent 方法,三种为 distribution-aware 方法,并在三个临床数据集上对其进行了评估,提出 SHAP-KL 和 FastSHAP-KL 两种分布感知的方法,计算 Shapley 值。
Feb, 2023
提出了一种简单而有用的代理,修改任何 XAI 特征排序方法的结果,以便考虑预测变量之间的依赖关系。该方法是模型不可知的,而且在存在共线性时计算每个预测变量在模型中的影响非常简单。
Apr, 2023
面向可解释人工智能(XAI)的高速范式转变已在近年来出现。高度复杂的机器学习(ML)模型在许多智能任务中蓬勃发展,而问题开始从传统的有效性度量转向更深层次的问题:该模型告诉我关于我的数据什么,它是如何得出这些结论的?XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题,我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations(Shap)进行系统的扰动分析。我们设计了一些算法,在动态推理的设置下生成相对特征重要性,这些设置针对一套流行的机器学习和深度学习方法,以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系,度量了一致性,并观察了几个数据集中解释模型之间的可量化相似性。
May, 2024