ICLRJun, 2020

数据流形上的 Shapley 可解释性

PDF
TL;DR本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架，但是通常的 Shapley 可解释性实现做了一个不切实际的假设，即模型的特征是不相关的，而作者这里提出了两种策略去解决这个问题，基于生成建模的方法提供灵活的数据归因，另一种直接学习了 Shapley 价值函数，提供了性能和稳定性，但缺陷是没有灵活性，通过我们的研究表明该假设会导致展示效果错误，隐藏敏感性属性的隐含模型依赖性和意义不明的高维数据。
发现论文，激发创造
  • 基于流形的 SAR 识别网络解释的 Shapley 值

    在合成孔径雷达（SAR）等风险高、成本高的场景中，可解释的人工智能（XAI）对于提高深度神经网络的透明度和可信度至关重要。Shapley 是一种具有强大数学基础的基于博弈的解释技术。然而，Shapley 假设模型的特征是独立的，这使得高维模型的 Shapley 解释无效。本研究通过将高维特征投影到低维流形特征，并随后获得 Fusion-Shap，引入了一种基于流形的 Shapley 方法，旨在（1）解决传统 Shap 遇到的错误解释问题；（2）解决传统 Shap 在复杂场景中面临的可解释性挑战。

    Jan, 2024

  • Shapley 值在可解释性方面的不足

    本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差，并指出在某些分类器的情况下，计算严格特征归因值的有效算法的存在性应被视为不太可能。

    Feb, 2023

  • 解释博弈：使用 Shapley 值解释机器学习模型

    本研究提出了一个新的机器学习模型解释框架 FAE（Formulate，Approximate，Explain）。该框架利用了 Shapley 值和博弈论方法进行解释，并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。

    Sep, 2019

  • 当特征具有依赖性时解释单个预测：更准确的 Shapley 值逼近

    本文介绍了使用 Shapley 值框架及其高维的计算有效近似，使复杂机器学习模型在解释各远行预测时更具可解释性，同时提出了处理相关特征的方法，增强了解释精度。

    Mar, 2019

  • 模型解释的多个 Shapley 值

    本文探讨了 Shapley 值在归因问题中的多样实现方式及产生的问题，且提出了一种基于独特性原理的技术 Baseline Shapley（BShap），并将其与 Integrated Gradients 进行对比。

    Aug, 2019

  • 穿过内、外流形价值函数针眼的 Shapley 解释

    本文旨在为 XAI 背景下的特征重要性贡献价值函数，并引入一种新的基线价值函数 —— 联合基线价值函数，在低密度区域具有稳健性，该价值函数在协同游戏上表现良好。

    Feb, 2022

  • 变分 Shapley 网络：基于概率的自解释 Shapley 值与不确定性量化方法

    我们引入了一种新颖的、能够显著简化 Shapley 值计算的自解释方法，并且探索了将概率框架纳入其中以捕捉解释中固有的不确定性，它基于一个新颖的遮蔽神经网络体系结构，在模拟和真实数据集上的评估验证了我们技术的稳健预测和解释性能。

    Feb, 2024

  • 非对称 Shapley 值：将因果知识纳入模型无关可解释性

    通过介绍 Asymmetric Shapley values (ASVs) 这种较少限制的框架，本文提出了这种框架可以改善模型解释、为模型预测中的不公平歧视提供测试、在时序模型中支持逐步增量解释以及支持特征选择研究而无需进行模型重新训练。

    Oct, 2019

  • 个体 Shapley 值解释的精确性

    Shapley value explanations are less precise for observations on the outer region of the training data distribution, which has not been systematically addressed in the Shapley value literature.

    Dec, 2023

  • 使用信息理论 Shapley 值解释预测不确定性

    本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。

    Jun, 2023