Apr, 2024

基于 Shapley 值的模型解释的错误分析：一种信息性视角

PDF
TL;DR本文分析了 Shapley 值归因的解释误差，将解释误差分解为观察偏差和结构偏差两个组成部分，并且证明它们之间存在权衡关系。基于此误差分析框架，提出了过多信息和过少信息解释这两个新概念，并对现有的 Shapley 值归因方法进行了可能的过多信息和过少信息的理论分析。
shapley value attributionexplainable aiexplanation errorsobservation biasstructural bias
发现论文，激发创造
  • Shapley 值在可解释性方面的不足

    本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差，并指出在某些分类器的情况下，计算严格特征归因值的有效算法的存在性应被视为不太可能。

    Feb, 2023

  • 个体 Shapley 值解释的精确性

    Shapley value explanations are less precise for observations on the outer region of the training data distribution, which has not been systematically addressed in the Shapley value literature.

    Dec, 2023

  • 模型解释的多个 Shapley 值

    本文探讨了 Shapley 值在归因问题中的多样实现方式及产生的问题，且提出了一种基于独特性原理的技术 Baseline Shapley（BShap），并将其与 Integrated Gradients 进行对比。

    Aug, 2019

  • 解释博弈：使用 Shapley 值解释机器学习模型

    本研究提出了一个新的机器学习模型解释框架 FAE（Formulate，Approximate，Explain）。该框架利用了 Shapley 值和博弈论方法进行解释，并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。

    Sep, 2019

  • 使用信息理论 Shapley 值解释预测不确定性

    本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。

    Jun, 2023

  • 非对称 Shapley 值：将因果知识纳入模型无关可解释性

    通过介绍 Asymmetric Shapley values (ASVs) 这种较少限制的框架，本文提出了这种框架可以改善模型解释、为模型预测中的不公平歧视提供测试、在时序模型中支持逐步增量解释以及支持特征选择研究而无需进行模型重新训练。

    Oct, 2019

  • 数据流形上的 Shapley 可解释性

    本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架，但是通常的 Shapley 可解释性实现做了一个不切实际的假设，即模型的特征是不相关的，而作者这里提出了两种策略去解决这个问题，基于生成建模的方法提供灵活的数据归因，另一种直接学习了 Shapley 价值函数，提供了性能和稳定性，但缺陷是没有灵活性，通过我们的研究表明该假设会导致展示效果错误，隐藏敏感性属性的隐含模型依赖性和意义不明的高维数据。

    Jun, 2020

  • 基于 Shapley 值的解释存在的特征重要性度量问题

    采用博弈论方法计算机器学习模型特征重要性的数学问题存在和 Shapley 值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。

    Feb, 2020

  • 对可解释性的 Shapley 值的反驳

    该论文证明了存在着布尔函数，其中 Shapley 值提供了关于特征相对重要性的误导信息，相关的问题归结为与预测相关的特征的相关性或无关性，并且所有这些问题都与 Shapley 值在基于规则的可解释性方面的不足性有关。该论文通过证明，对于任意数量的特征，存在显示一种或多种揭示不足问题的布尔函数，从而为特征归属方法的理论基础中的 Shapley 值的使用提供决定性的反对理由。

    Sep, 2023

  • CAGE：因果感知 Shapley 值用于全局解释

    鉴于人工智能对我们日常生活的影响越来越大，AI 决策的透明性和可解释性变得越来越重要。与全局解释相关的特征的因果关系和预测重要性在全局解释中提供了一种解释人工智能模型的方式，为了更好地理解预测的特征重要性，我们提出了 CAGE (因果感知的 Shapley 值用于全局解释) 方法，通过引入一种尊重输入特征的因果关系的新型取样过程，将因果知识融入全局解释的实践方法中。我们在合成数据和现实世界数据上评估了我们的方法，并证明与以前的全局解释方法相比，我们的方法不仅更直观，而且更可靠。

    Apr, 2024