Apr, 2024

基于能量模型的准确 Shapley 值估计用于解释性深度学习预测建模

PDF
TL;DR本文介绍了 EmSHAP（基于能量模型的 Shapley 值估计），它可以有效地近似预测模型在任意特征子集上的 Shapley 贡献函数的期望值。通过引入门控循环单元（GRU）将输入特征映射到隐藏空间，以消除输入特征排序的影响，并提出了动态屏蔽方案来提高泛化能力。定理 1、2 和 3 证明了 EmSHAP 比 KernelSHAP 和 VAEAC 等现有方法具有更紧的误差界限，从而实现了更高的估计精度。最后，针对医学和工业领域的应用案例表明，所提出的基于 Shapley 值的可解释框架具有提高的估计精度而无需牺牲效率。
发现论文，激发创造
  • 数据评估的加速 Shapley 值近似算法

    通过利用机器学习问题的结构性质，我们提出了一种更高效的近似数据 Shapley 值的方法，此方法在不同学习设置中包括随机梯度下降和凸、非凸损失函数中证明了其近似 Shapley 值的准确性收敛性。实验证明，这种方法在保持数据的近似价值和排名的同时，提高了近似速度最高可达 9.9 倍，并且在使用小的子集进行精确评估时，对预训练网络的效率更高。

    Nov, 2023

  • 探索快速 Shapley 值估计的统一视角

    Shapley 值是一种广泛接受和可信赖的工具，用于解决深度神经网络等黑盒模型所带来的挑战。本研究分析了现有工作的一致性，并推断出随机估计器可以统一为特征子集重要性采样的线性变换。基于此，我们探讨设计简单的摊销估计器的可能性，并提出了一种简单高效的方法 ——SimSHAP，通过消除冗余技术。在表格和图像数据集上进行的大量实验证实了我们的 SimSHAP 的有效性，能够显著加速准确 Shapley 值的计算。

    Nov, 2023

  • FastSHAP: 实时 Shapley 值估计

    FastSHAP 是一种使用学习解释器模型在一次正向传递中估计 Shapley 值的方法，通过启发 Shapley 值加权最小二乘估计的学习方法来分摊解释许多输入的成本，并且可以使用标准的随机梯度优化进行训练，与现有的估计方法进行比较，显示出具有高质量解释的数量级加速。

    Jul, 2021

  • DU-Shapley: 一种有效数据集估价的 Shapley 值代理

    本文提出了一种基于离散均匀分布的 Shapley 值近似估计方法，以更高效地进行数据集估价和数据共享，并通过多个数据集估价基准测试表明 DU-Shapley 的效果优于其他 Shapley 估算方法。

    Jun, 2023

  • CHG Shapley: 高效的数据评估与选择，迈向可靠的机器学习

    通过计算每个数据子集对模型准确性的效用近似值，在单个模型训练期间推导 CHG（Conduct of Hardness and Gradient）评分的 Shapley 值闭式表达式，我们在大规模数据集上将数据估值方法从多次模型重训练的形式改进为等效于单次模型重训练，极大地提高了计算效率。同时，我们还利用 CHG Shapley 进行实时数据选择，证明其在识别高价值和有噪声数据方面的有效性。CHG Shapley 通过高效的数据估值方法促进了可信的模型训练，为信任值机器学习引入了一种新的以数据为中心的视角。

    Jun, 2024

  • 变分 Shapley 网络：基于概率的自解释 Shapley 值与不确定性量化方法

    我们引入了一种新颖的、能够显著简化 Shapley 值计算的自解释方法，并且探索了将概率框架纳入其中以捕捉解释中固有的不确定性，它基于一个新颖的遮蔽神经网络体系结构，在模拟和真实数据集上的评估验证了我们技术的稳健预测和解释性能。

    Feb, 2024

  • 使用视觉 Transformer 学习估计 Shapley 值

    本研究介绍了对视觉 transformers 模型引入 Shapley 值进行解释的方法，通过使用注意掩模方法以及另一个学习的解释模型，有效地生成了更准确的模型解释。

    Jun, 2022

  • 当特征具有依赖性时解释单个预测：更准确的 Shapley 值逼近

    本文介绍了使用 Shapley 值框架及其高维的计算有效近似，使复杂机器学习模型在解释各远行预测时更具可解释性，同时提出了处理相关特征的方法，增强了解释精度。

    Mar, 2019

  • 通过线性回归改进 KernelSHAP：实用的 Shapley 值估算

    本文探讨了如何通过线性回归来有效估计机器学习模型的 Shapley 值，并提出了一种方差缩减技术，以加速两个估计器的收敛速度。此外，还发现了一种新的无偏版本 KernelSHAP，并提出了一种针对随机合作博弈的方法，可产生两个全局解释方法的快速新估计器。

    Dec, 2020

  • 个体 Shapley 值解释的精确性

    Shapley value explanations are less precise for observations on the outer region of the training data distribution, which has not been systematically addressed in the Shapley value literature.

    Dec, 2023