Shapley 值在可解释性方面的不足
最近的研究表明 Shapley 值对于可解释的人工智能(XAI)是不足够的,本文通过对特征既非布尔型又能选择多个类别的分类器家族的研究,进一步证明了 Shapley 值在 XAI 中的不适用性,并展示了在任何最小 l0 距离对抗样本中发生变化的特征都不包括无关特征,从而提供了更多关于 Shapley 值在 XAI 中的不足的论证。
Sep, 2023
这篇论文提出了一个简单的论点:Shapley 值可能会给出误导性的相对特征重要性量度,从而不仅会将更多的重要性分配给与预测无关的特征,而且会给与与预测相关的特征更少的重要性,这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。
Jun, 2023
该论文证明了存在着布尔函数,其中 Shapley 值提供了关于特征相对重要性的误导信息,相关的问题归结为与预测相关的特征的相关性或无关性,并且所有这些问题都与 Shapley 值在基于规则的可解释性方面的不足性有关。该论文通过证明,对于任意数量的特征,存在显示一种或多种揭示不足问题的布尔函数,从而为特征归属方法的理论基础中的 Shapley 值的使用提供决定性的反对理由。
Sep, 2023
采用博弈论方法计算机器学习模型特征重要性的数学问题存在和 Shapley 值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。
Feb, 2020
Shapley value explanations are less precise for observations on the outer region of the training data distribution, which has not been systematically addressed in the Shapley value literature.
Dec, 2023
本文分析了 Shapley 值归因的解释误差,将解释误差分解为观察偏差和结构偏差两个组成部分,并且证明它们之间存在权衡关系。基于此误差分析框架,提出了过多信息和过少信息解释这两个新概念,并对现有的 Shapley 值归因方法进行了可能的过多信息和过少信息的理论分析。
Apr, 2024
本研究提出了一个新的机器学习模型解释框架 FAE(Formulate,Approximate,Explain)。该框架利用了 Shapley 值和博弈论方法进行解释,并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。
Sep, 2019
本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架,但是通常的 Shapley 可解释性实现做了一个不切实际的假设,即模型的特征是不相关的,而作者这里提出了两种策略去解决这个问题,基于生成建模的方法提供灵活的数据归因,另一种直接学习了 Shapley 价值函数,提供了性能和稳定性,但缺陷是没有灵活性,通过我们的研究表明该假设会导致展示效果错误,隐藏敏感性属性的隐含模型依赖性和意义不明的高维数据。
Jun, 2020
本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法,旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度;该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。
Jun, 2023
通过介绍 Asymmetric Shapley values (ASVs) 这种较少限制的框架,本文提出了这种框架可以改善模型解释、为模型预测中的不公平歧视提供测试、在时序模型中支持逐步增量解释以及支持特征选择研究而无需进行模型重新训练。
Oct, 2019