Dec, 2020

通过线性回归改进 KernelSHAP：实用的 Shapley 值估算

PDF
TL;DR本文探讨了如何通过线性回归来有效估计机器学习模型的 Shapley 值，并提出了一种方差缩减技术，以加速两个估计器的收敛速度。此外，还发现了一种新的无偏版本 KernelSHAP，并提出了一种针对随机合作博弈的方法，可产生两个全局解释方法的快速新估计器。
shapley valuecooperative game theoryml modelslinear regressionvariance reduction
发现论文，激发创造
  • 当特征具有依赖性时解释单个预测：更准确的 Shapley 值逼近

    本文介绍了使用 Shapley 值框架及其高维的计算有效近似，使复杂机器学习模型在解释各远行预测时更具可解释性，同时提出了处理相关特征的方法，增强了解释精度。

    Mar, 2019

  • 探索快速 Shapley 值估计的统一视角

    Shapley 值是一种广泛接受和可信赖的工具，用于解决深度神经网络等黑盒模型所带来的挑战。本研究分析了现有工作的一致性，并推断出随机估计器可以统一为特征子集重要性采样的线性变换。基于此，我们探讨设计简单的摊销估计器的可能性，并提出了一种简单高效的方法 ——SimSHAP，通过消除冗余技术。在表格和图像数据集上进行的大量实验证实了我们的 SimSHAP 的有效性，能够显著加速准确 Shapley 值的计算。

    Nov, 2023

  • 分布式 Shapley 值的高效计算和分析

    本文提出了分布式数据 Shapley 值（DShapley），该值是将 Shapley 值等博弈理论概念开发到了机器学习的统计框架，并可以应用于识别对学习算法有用或有害的数据点。本文通过导出线性回归，二元分类和非参数密度估计的 DShapley 的第一批分析表达式，提供了新的算法来快速估计 DShapley，这些公式直接解释并为不同数据类型提供量化的见解。

    Jul, 2020

  • 估计条件 Shapley 值方法的比较研究及其应用

    本文主要研究如何使用 Monte Carlo 积分或回归来模拟条件期望值以估计 Shapley 值，以及对现有方法进行改进和系统化分类，并进行广泛的模拟和实际数据实验来评估和推荐何时使用不同的方法类。

    May, 2023

  • 机器学习中的 Shapley 值

    本文介绍了合作博弈理论的基本概念以及 Shapley value 的公理性质，概述了其在机器学习中的最重要应用：特征选择，可解释性，多智能体强化学习，集成修剪和数据估价，指出了 Shapley value 的主要局限性和未来研究方向。

    Feb, 2022

  • 一个多线性采样算法用于估计 Shapley 值

    本论文提出了一种基于多线性扩展技术的新采样方法来估计 Shapley 值，可用于任何机器学习模型，特别是多类分类或回归问题。通过对两个数据集的实验，我们证明了该方法通过减少采样统计变量的方差来提供更准确的 Shapley 值估计。

    Oct, 2020

  • 利用控制变量稳定 Shapley 值的估计

    使用 Monte Carlo 控制变量技术的 ControlSHAP 方法可以有效减少 Shapley 估计的 Monte Carlo 变异性。

    Oct, 2023

  • 解释博弈：使用 Shapley 值解释机器学习模型

    本研究提出了一个新的机器学习模型解释框架 FAE（Formulate，Approximate，Explain）。该框架利用了 Shapley 值和博弈论方法进行解释，并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。

    Sep, 2019

  • 数据评估的加速 Shapley 值近似算法

    通过利用机器学习问题的结构性质，我们提出了一种更高效的近似数据 Shapley 值的方法，此方法在不同学习设置中包括随机梯度下降和凸、非凸损失函数中证明了其近似 Shapley 值的准确性收敛性。实验证明，这种方法在保持数据的近似价值和排名的同时，提高了近似速度最高可达 9.9 倍，并且在使用小的子集进行精确评估时，对预训练网络的效率更高。

    Nov, 2023

  • 使用 Shapley Value 进行模型解释的预测和因果推论

    本文探讨了 Shapley 值在贝叶斯网络框架下的应用，分析了 Shapley 值与条件独立性的关系，并发现高 Shapley 值的变量不一定对模型预测性能有显著影响，而低 Shapley 值的变量可能会导致较差的预测结果。因此，在一般情况下，使用 Shapley 值进行特征选择并不一定能建立起最简单和预测性最优的模型，而且 Shapley 值不反映变量与目标之间的因果关系。

    Aug, 2020