Sep, 2023

对可解释性的 Shapley 值的反驳

PDF
TL;DR该论文证明了存在着布尔函数，其中 Shapley 值提供了关于特征相对重要性的误导信息，相关的问题归结为与预测相关的特征的相关性或无关性，并且所有这些问题都与 Shapley 值在基于规则的可解释性方面的不足性有关。该论文通过证明，对于任意数量的特征，存在显示一种或多种揭示不足问题的布尔函数，从而为特征归属方法的理论基础中的 Shapley 值的使用提供决定性的反对理由。
boolean functionsshapley valuesrule-based explanationsfeature relevanceinadequacy
发现论文，激发创造
  • Shapley 值在可解释性方面的不足

    本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差，并指出在某些分类器的情况下，计算严格特征归因值的有效算法的存在性应被视为不太可能。

    Feb, 2023

  • 拒绝使用 Shapley 值进行 XAI -- 额外证据

    最近的研究表明 Shapley 值对于可解释的人工智能（XAI）是不足够的，本文通过对特征既非布尔型又能选择多个类别的分类器家族的研究，进一步证明了 Shapley 值在 XAI 中的不适用性，并展示了在任何最小 l0 距离对抗样本中发生变化的特征都不包括无关特征，从而提供了更多关于 Shapley 值在 XAI 中的不足的论证。

    Sep, 2023

  • 基于 Shapley 值的解释存在的特征重要性度量问题

    采用博弈论方法计算机器学习模型特征重要性的数学问题存在和 Shapley 值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。

    Feb, 2020

  • 数据流形上的 Shapley 可解释性

    本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架，但是通常的 Shapley 可解释性实现做了一个不切实际的假设，即模型的特征是不相关的，而作者这里提出了两种策略去解决这个问题，基于生成建模的方法提供灵活的数据归因，另一种直接学习了 Shapley 价值函数，提供了性能和稳定性，但缺陷是没有灵活性，通过我们的研究表明该假设会导致展示效果错误，隐藏敏感性属性的隐含模型依赖性和意义不明的高维数据。

    Jun, 2020

  • 关于修正 SHAP 分数

    本篇论文通过探讨 SHAP 得分中存在的问题以及特征函数的影响，提出了几种新的特征函数来替代现有的函数，以消除 SHAP 得分的一些限制。

    Apr, 2024

  • 使用 Shapley Value 进行模型解释的预测和因果推论

    本文探讨了 Shapley 值在贝叶斯网络框架下的应用，分析了 Shapley 值与条件独立性的关系，并发现高 Shapley 值的变量不一定对模型预测性能有显著影响，而低 Shapley 值的变量可能会导致较差的预测结果。因此，在一般情况下，使用 Shapley 值进行特征选择并不一定能建立起最简单和预测性最优的模型，而且 Shapley 值不反映变量与目标之间的因果关系。

    Aug, 2020

  • 基于 Shapley 值的方法解释机器学习中分类器的鲁棒性

    该研究探讨使用 Shapley 值来解释每个特征对于模型稳健性的贡献，并通过演示如何解释结果来说明该方法的可行性。这种稳健性的解释可以帮助分析人员进行特征选择，并识别对稳健性具有重要或负面贡献的特征。

    Sep, 2022

  • 基于 Shapley 值的模型解释的错误分析：一种信息性视角

    本文分析了 Shapley 值归因的解释误差，将解释误差分解为观察偏差和结构偏差两个组成部分，并且证明它们之间存在权衡关系。基于此误差分析框架，提出了过多信息和过少信息解释这两个新概念，并对现有的 Shapley 值归因方法进行了可能的过多信息和过少信息的理论分析。

    Apr, 2024

  • 当特征具有依赖性时解释单个预测：更准确的 Shapley 值逼近

    本文介绍了使用 Shapley 值框架及其高维的计算有效近似，使复杂机器学习模型在解释各远行预测时更具可解释性，同时提出了处理相关特征的方法，增强了解释精度。

    Mar, 2019

  • 模型解释的多个 Shapley 值

    本文探讨了 Shapley 值在归因问题中的多样实现方式及产生的问题，且提出了一种基于独特性原理的技术 Baseline Shapley（BShap），并将其与 Integrated Gradients 进行对比。

    Aug, 2019