一种新的事后解释比较度量方法和应用
本文比较两种解释系统(SHAP 和 LIME)的解释一致性,使用 14 种机器学习模型和 4 个数据集进行了实验,并得出两个结论:解释重要性的大小不重要;SHAP 和 LIME 重要性得分的相似度不能预测模型的准确性。此外,本文构建了一个名为 XAISuite 的开源库,为训练和解释模型提供统一的流程,并提出了一个通用框架来更好地解释机器学习模型并优化它们的性能。
Apr, 2023
面向可解释人工智能(XAI)的高速范式转变已在近年来出现。高度复杂的机器学习(ML)模型在许多智能任务中蓬勃发展,而问题开始从传统的有效性度量转向更深层次的问题:该模型告诉我关于我的数据什么,它是如何得出这些结论的?XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题,我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations(Shap)进行系统的扰动分析。我们设计了一些算法,在动态推理的设置下生成相对特征重要性,这些设置针对一套流行的机器学习和深度学习方法,以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系,度量了一致性,并观察了几个数据集中解释模型之间的可量化相似性。
May, 2024
为确保机器学习模型的伦理使用,该论文提出了一种基于模型不可知的可加特征归因算法(KernelSHAP)和数据协作方法的可解释数据协作框架,以应对难以解释的黑盒子模型。
Dec, 2022
我们提出并研究了使用计算成本较低的回归模型来逼近诸如 SHAP 之类的基于分数解释技术的输出,通过采用归纳符合预测框架提供了对逼近值的有效性保证。我们提出了几种非一致性度量方法,旨在考虑到解释逼近的困难程度同时保持计算成本的低廉。通过大规模实证研究的结果表明,我们提出的模型生成的近似解释在效率(区间大小)方面得到了评估。结果表明,与快速版本的 SHAP TreeSHAP 相比,所提出的方法可以显著提高执行时间。结果还表明,所提出的方法可以产生紧密的区间,同时提供有效性保证。此外,所提出的方法允许比较不同逼近方法的解释,并根据预测区间的信息量(紧密程度)选择一种方法。
Aug, 2023
研究表明,基于排名相关性进行的注意力权重和特征添加解释方法之间的相关性分析,要么证明了基于注意力的解释作为显著性的忠实且合理的措施的作用,要么否定了这一点。但是,作者对 LIME,DeepLIFT 等多种解释技术的实验结果表明,并不存在一个能够弥合这些技术之间存在的明显分歧的排名相关度量方法。因此,作者建议从社区提出的严谨诊断方法入手,进行模型解释的改进。
May, 2021
本文介绍了可解释人工智能(XAI)的核心目标,即根据预测结果赋予机器学习模型特征的相对重要性。通过对功能归属的精确计算,研究表明该任务是非常重要的,并且之前提出的一些公理化聚合代表了过去研究中探讨的多个权力指数示例。此外,本文探讨了如何将一些广泛使用的权力指数用作特征重要性评分,并提出了满足可解释人工智能的新颖特征重要性评分。最后,文章对最知名的权力指数在提出的指标方面进行了深入分析。
May, 2024
本研究探讨了几种用来解释机器学习模型预测结果的相关性评估指标,并通过三项测试,发现利用损失函数梯度的余弦相似度表现最佳,可作为实践中的推荐选择。同时,研究者还发现某些指标表现不佳,并分析了其失败原因,期望能帮助从业者选择合适的相关性评估指标,同时推动更好的指标研究。
Jun, 2020
通过发布一套合成数据集及相应的特征归因(feature attribution)算法基准测试库 XAI-Bench,可以有效评估和比较不同的特征归因方法,解决了在检验真实数据集上评估模型可解释性的难题。
Jun, 2021
这篇论文提出了一个简单的论点:Shapley 值可能会给出误导性的相对特征重要性量度,从而不仅会将更多的重要性分配给与预测无关的特征,而且会给与与预测相关的特征更少的重要性,这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。
Jun, 2023
通过引入一种公理化博弈论的方法,本文针对排名任务的特征归因方法提出了 Rank-SHAP 算法,并通过多方案的计算效率和准确性评估以及与人类直观的一项用户研究,对算法进行了验证和分析。
May, 2024