Nov, 2023

探索快速 Shapley 值估计的统一视角

PDF
TL;DRShapley 值是一种广泛接受和可信赖的工具，用于解决深度神经网络等黑盒模型所带来的挑战。本研究分析了现有工作的一致性，并推断出随机估计器可以统一为特征子集重要性采样的线性变换。基于此，我们探讨设计简单的摊销估计器的可能性，并提出了一种简单高效的方法 ——SimSHAP，通过消除冗余技术。在表格和图像数据集上进行的大量实验证实了我们的 SimSHAP 的有效性，能够显著加速准确 Shapley 值的计算。
发现论文，激发创造
  • FastSHAP: 实时 Shapley 值估计

    FastSHAP 是一种使用学习解释器模型在一次正向传递中估计 Shapley 值的方法，通过启发 Shapley 值加权最小二乘估计的学习方法来分摊解释许多输入的成本，并且可以使用标准的随机梯度优化进行训练，与现有的估计方法进行比较，显示出具有高质量解释的数量级加速。

    Jul, 2021

  • 通过线性回归改进 KernelSHAP：实用的 Shapley 值估算

    本文探讨了如何通过线性回归来有效估计机器学习模型的 Shapley 值，并提出了一种方差缩减技术，以加速两个估计器的收敛速度。此外，还发现了一种新的无偏版本 KernelSHAP，并提出了一种针对随机合作博弈的方法，可产生两个全局解释方法的快速新估计器。

    Dec, 2020

  • 通过分摊法实现文本分类的有效 Shapley 值估计

    在神经网络文本分类模型中解释 Shapley Values 的流行度越来越高，但由于模型评估数量过多，计算它们对于大型预训练模型来说是禁止的。为了权衡稳定性和效率，我们开发了一种分散模型，直接预测每个输入特征的 Shapley Value，实验结果表明，与传统方法相比，我们的分散模型以高达 60 倍的速度准确地估计 Shapley 值。

    May, 2023

  • 数据评估的加速 Shapley 值近似算法

    通过利用机器学习问题的结构性质，我们提出了一种更高效的近似数据 Shapley 值的方法，此方法在不同学习设置中包括随机梯度下降和凸、非凸损失函数中证明了其近似 Shapley 值的准确性收敛性。实验证明，这种方法在保持数据的近似价值和排名的同时，提高了近似速度最高可达 9.9 倍，并且在使用小的子集进行精确评估时，对预训练网络的效率更高。

    Nov, 2023

  • 一个多线性采样算法用于估计 Shapley 值

    本论文提出了一种基于多线性扩展技术的新采样方法来估计 Shapley 值，可用于任何机器学习模型，特别是多类分类或回归问题。通过对两个数据集的实验，我们证明了该方法通过减少采样统计变量的方差来提供更准确的 Shapley 值估计。

    Oct, 2020

  • 基于能量模型的准确 Shapley 值估计用于解释性深度学习预测建模

    本文介绍了 EmSHAP（基于能量模型的 Shapley 值估计），它可以有效地近似预测模型在任意特征子集上的 Shapley 贡献函数的期望值。通过引入门控循环单元（GRU）将输入特征映射到隐藏空间，以消除输入特征排序的影响，并提出了动态屏蔽方案来提高泛化能力。定理 1、2 和 3 证明了 EmSHAP 比 KernelSHAP 和 VAEAC 等现有方法具有更紧的误差界限，从而实现了更高的估计精度。最后，针对医学和工业领域的应用案例表明，所提出的基于 Shapley 值的可解释框架具有提高的估计精度而无需牺牲效率。

    Apr, 2024

  • DU-Shapley: 一种有效数据集估价的 Shapley 值代理

    本文提出了一种基于离散均匀分布的 Shapley 值近似估计方法，以更高效地进行数据集估价和数据共享，并通过多个数据集估价基准测试表明 DU-Shapley 的效果优于其他 Shapley 估算方法。

    Jun, 2023

  • 当特征具有依赖性时解释单个预测：更准确的 Shapley 值逼近

    本文介绍了使用 Shapley 值框架及其高维的计算有效近似，使复杂机器学习模型在解释各远行预测时更具可解释性，同时提出了处理相关特征的方法，增强了解释精度。

    Mar, 2019

  • 利用模型结构信息高效计算 SHAP

    本文提出了多种方法，可以在多项式时间内准确计算 SHAP 值，适用于不同类型的模型结构信息，包括已知功能分解、已知模型顺序和未知模型顺序，其中的方法在实际应用中计算效率高且准确性较高。

    Sep, 2023

  • 分布式 Shapley 值的高效计算和分析

    本文提出了分布式数据 Shapley 值（DShapley），该值是将 Shapley 值等博弈理论概念开发到了机器学习的统计框架，并可以应用于识别对学习算法有用或有害的数据点。本文通过导出线性回归，二元分类和非参数密度估计的 DShapley 的第一批分析表达式，提供了新的算法来快速估计 DShapley，这些公式直接解释并为不同数据类型提供量化的见解。

    Jul, 2020