拒绝使用 Shapley 值进行 XAI -- 额外证据
本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差,并指出在某些分类器的情况下,计算严格特征归因值的有效算法的存在性应被视为不太可能。
Feb, 2023
该论文证明了存在着布尔函数,其中 Shapley 值提供了关于特征相对重要性的误导信息,相关的问题归结为与预测相关的特征的相关性或无关性,并且所有这些问题都与 Shapley 值在基于规则的可解释性方面的不足性有关。该论文通过证明,对于任意数量的特征,存在显示一种或多种揭示不足问题的布尔函数,从而为特征归属方法的理论基础中的 Shapley 值的使用提供决定性的反对理由。
Sep, 2023
这篇论文提出了一个简单的论点:Shapley 值可能会给出误导性的相对特征重要性量度,从而不仅会将更多的重要性分配给与预测无关的特征,而且会给与与预测相关的特征更少的重要性,这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。
Jun, 2023
Shapley value explanations are less precise for observations on the outer region of the training data distribution, which has not been systematically addressed in the Shapley value literature.
Dec, 2023
采用博弈论方法计算机器学习模型特征重要性的数学问题存在和 Shapley 值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。
Feb, 2020
本研究提出了一个新的机器学习模型解释框架 FAE(Formulate,Approximate,Explain)。该框架利用了 Shapley 值和博弈论方法进行解释,并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。
Sep, 2019
本文探讨了 Shapley 值在归因问题中的多样实现方式及产生的问题,且提出了一种基于独特性原理的技术 Baseline Shapley(BShap),并将其与 Integrated Gradients 进行对比。
Aug, 2019
本文分析了 Shapley 值归因的解释误差,将解释误差分解为观察偏差和结构偏差两个组成部分,并且证明它们之间存在权衡关系。基于此误差分析框架,提出了过多信息和过少信息解释这两个新概念,并对现有的 Shapley 值归因方法进行了可能的过多信息和过少信息的理论分析。
Apr, 2024
在合成孔径雷达(SAR)等风险高、成本高的场景中,可解释的人工智能(XAI)对于提高深度神经网络的透明度和可信度至关重要。Shapley 是一种具有强大数学基础的基于博弈的解释技术。然而,Shapley 假设模型的特征是独立的,这使得高维模型的 Shapley 解释无效。本研究通过将高维特征投影到低维流形特征,并随后获得 Fusion-Shap,引入了一种基于流形的 Shapley 方法,旨在(1)解决传统 Shap 遇到的错误解释问题;(2)解决传统 Shap 在复杂场景中面临的可解释性挑战。
Jan, 2024