Jun, 2023

模型无关的交互式特征归因提高性能和样本效率

PDF
TL;DR本文提供了两种流行的解释方法（Occlusion 和 Shapley 值）的模型无关实现，以无限制的交互方式实现不同的属性。利用已纠正的特征归属来生成额外的本地数据，通过在模拟和真实数据实验中展示我们提出的方法如何通过纠正的解释显著提高模型的性能。添加交互式解释以增加活动学习效率，显著优于现有的解释性交互策略。此外，本文探讨了领域专家如何提供足够正确的特征归属来改进模型。
model-agnostic feature attributionsml modelsocclusionshapley valuestraining dataset
发现论文，激发创造
  • 通过优化特征归因的聚合来提供可证明更好的解释

    该论文旨在通过将不同方法或其变种的多个解释结合起来，系统地提高特征归因的质量，从而改进理解和验证复杂的机器学习模型的预测，该组合策略在多个模型架构和流行的特征归因技术中始终优于个别方法和现有基准。

    Jun, 2024

  • 树集成的一致个性化特征归因

    针对解释树集成方法（如梯度提升机和随机森林）结果的重要性，提出了 SHAP 值作为唯一一致及本地精确的归因值方法，并采用丰富的可视化方式改进归因总结和偏关系图，并提出了一种独特的 “受监督” 聚类方法。

    Feb, 2018

  • 选择性解释

    我们提出了一种选择性解释的特征归因方法，它检测出深度学习模型产生低质量解释的情况，并使用初始猜测解释技术改善这些解释，从而使实践者能够在提供初始猜测的解释之间进行选择，从而弥补了深度学习模型及其高质量对应物之间的差距。

    May, 2024

  • 有益还是有害的数据？无需微调的 Shapley 属性归因用于解释语言模型预测

    在这篇论文中，我们提出了一种针对实例归属的鲁棒性解释方法，通过引入 Shapley 值的高效逼近方法来提高实例归属和其他数据相关应用的性能，在大型语言模型上进行了广义的推广。

    Jun, 2024

  • 统一特征归属和反事实说明：不同的手段达成了相同的目的

    通过真实因果关系框架提供一种将特征归因和反事实解释统一的解释方法，通过在 Adult-Income，LendingClub 和 German-Credit 三个基准数据集上的实验，发现 Feature attribution 方法和 counterfactual explanation 方法并不总是一致的，也表明了他们之间的互补性。

    Nov, 2020

  • 对抗 Shapley 加性解释

    本文提出了一种新的 SHAP 方法，Counterfactual SHAP，以增强和澄清可操作性和特征归因之间的联系，通过使用反事实信息构建背景数据集，在许多合成示例中展示了 Shapley 值在可操作性场景中仔细考虑背景数据集的必要性，并提出了一种新的量化分数 counterfactual-ability 来衡量特征归因的性能。

    Oct, 2021

  • 通过可解释的数据协作实现分布式机器学习的透明度

    为确保机器学习模型的伦理使用，该论文提出了一种基于模型不可知的可加特征归因算法（KernelSHAP）和数据协作方法的可解释数据协作框架，以应对难以解释的黑盒子模型。

    Dec, 2022

  • 输入特征归因分析的统一框架

    机器学习模型的决策过程解释对于确保其可靠性和公平性至关重要。我们提出了一个统一框架，通过四个诊断属性实现了突出和交互式解释的直接比较，并揭示了不同诊断属性方面各解释类型的优势。突出解释对模型预测最为忠实，而交互式解释对于学习模拟模型预测提供了更好的效用，这些认识进一步凸显了未来研究发展结合方法以提高所有诊断属性的需求。

    Jun, 2024

  • 模型归因的鲁棒性再思考

    机器学习模型的可靠性和可信度要求其决策具有可解释性，尤其在安全关键应用中，模型预测和解释（作为特征归因）对微小且不可察觉的输入扰动要具有鲁棒性。最近的研究表明许多归因方法是脆弱的，并提出了改进这些方法或模型训练的方法。我们观察到脆弱归因的两个主要原因：首先，现有的鲁棒性度量指标（例如，top-k 交集）对于合理的本地归因偏移进行了过度惩罚，因此使得随机扰动呈现出强攻击的效果；其次，即使图像中存在多个重要部分，归因可以集中在一个小区域中。为了纠正这一点，我们提出了一些简单的方法来加强现有的度量指标和归因方法，这些方法将像素的局部性纳入鲁棒性度量指标中，并将像素位置的多样性纳入归因中。关于模型训练在归因鲁棒性中的作用，我们经验证实对抗性训练的模型在较小的数据集上具有更鲁棒的归因，然而，在较大的数据集中，这种优势消失了。代码可在此 https URL 获得。

    Dec, 2023

  • 树集成的一致特征归因

    研究使用 SHAP 值作为唯一一种同时具有一致性和局部精度的加性特征归因方法，在现有方法不一致的情况下，提高特征归因的准确性和可解释性，应用于 XGBoost 模型中能够显著提高监督聚类性能和模型解释能力。

    Jun, 2017