注意力流是 Shapley 值的解释
本研究介绍了对视觉 transformers 模型引入 Shapley 值进行解释的方法,通过使用注意掩模方法以及另一个学习的解释模型,有效地生成了更准确的模型解释。
Jun, 2022
本研究提出了一个新的机器学习模型解释框架 FAE(Formulate,Approximate,Explain)。该框架利用了 Shapley 值和博弈论方法进行解释,并提供了置信区间和对比解释来解释黑盒子模型在不同数据集上的结构。
Sep, 2019
本文探讨了 Shapley 值在归因问题中的多样实现方式及产生的问题,且提出了一种基于独特性原理的技术 Baseline Shapley(BShap),并将其与 Integrated Gradients 进行对比。
Aug, 2019
本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重,以解决在 Transformer 模型中,由不同令牌产生不同的信息流动混合,使得注意力权重不可靠作为解释探针的问题。与原始注意力相比,这两种方法均具有更高的输入梯度基于消融法重要性评分相关性。
May, 2020
本文提出使用 Shapley values 作为深度模型的潜在表示,使得 Shapley explanations 能够成为建模范式的第一等公民,从而实现了层次化解释、模型在训练期间的解释以及快速解释计算。作者证明了 ShapNets 确保 Shapley 值的缺失和准确性,并通过在合成和真实数据集上的演示展示了它的有效性。
Apr, 2021
采用博弈论方法计算机器学习模型特征重要性的数学问题存在和 Shapley 值并不能很好地解释人类可解释目标的论证以及需要因果推理等技术增加复杂性。
Feb, 2020
该研究提出了一种基于不确定性传播的深度神经网络 Shapley 值的多项式时间逼近方法,相较于现有最先进的归因方法,该方法可以显著地更好地逼近 Shapley 值。
Mar, 2019
本文介绍了合作博弈理论的基本概念以及 Shapley value 的公理性质,概述了其在机器学习中的最重要应用:特征选择,可解释性,多智能体强化学习,集成修剪和数据估价,指出了 Shapley value 的主要局限性和未来研究方向。
Feb, 2022
本研究提出一种名为 FlowX 的新方法,通过识别重要的信息流来解释图神经网络的工作机制,结果表明 FlowX 能够提高图神经网络解释性。
Jun, 2022