Apr, 2024

树模型特征重要性准确评估

PDF
TL;DR本文提出了一种基于扰动的预测忠实度度量方法，称为 PGI 平方，在决策树回归模型中可以准确高效地计算任意独立特征扰动分布的度量。同时，根据 PGI 平方，我们提出了一种根据特征重要性对树模型预测进行排名的方法，实验结果表明，在某些方面，该方法可能会更好地识别全局重要特征，超越了现有的 SHAP 解释器。
predictive faithfulnessfeature rankingsattributionsperturbation-based metricdecision tree regression
发现论文，激发创造
  • 树集成的一致特征归因

    研究使用 SHAP 值作为唯一一种同时具有一致性和局部精度的加性特征归因方法，在现有方法不一致的情况下，提高特征归因的准确性和可解释性，应用于 XGBoost 模型中能够显著提高监督聚类性能和模型解释能力。

    Jun, 2017

  • 树集成的一致个性化特征归因

    针对解释树集成方法（如梯度提升机和随机森林）结果的重要性，提出了 SHAP 值作为唯一一致及本地精确的归因值方法，并采用丰富的可视化方式改进归因总结和偏关系图，并提出了一种独特的 “受监督” 聚类方法。

    Feb, 2018

  • 传统机器学习模型解释方法比较 Part 2：量化模型解释可信度及通过降维改善

    本研究评估了多种特征排序方法的忠实度，并量化了限制相关特征对解释能力提高的影响，发现促进特征解释的方法在特征相关性降低后最具忠实度。

    Nov, 2022

  • 从 SHAP 得分到特征重要性得分

    本文介绍了可解释人工智能（XAI）的核心目标，即根据预测结果赋予机器学习模型特征的相对重要性。通过对功能归属的精确计算，研究表明该任务是非常重要的，并且之前提出的一些公理化聚合代表了过去研究中探讨的多个权力指数示例。此外，本文探讨了如何将一些广泛使用的权力指数用作特征重要性评分，并提出了满足可解释人工智能的新颖特征重要性评分。最后，文章对最知名的权力指数在提出的指标方面进行了深入分析。

    May, 2024

  • 使用 SHAP 和 LIME 的可证明稳定特征排序

    基于多重假设检验的思想，我们提出了一种特征归因方法 RankSHAP，能够以高概率正确排列最重要的特征，同时保证了计算效率。在实证结果中，我们还基于之前的工作为 LIME 扩展了类似的结果，确保以正确的顺序选择最重要的特征。

    Jan, 2024

  • 树形方法中特征重要性的无偏测量

    通过纠正 Random Forests 和其他基于树的方法中的变量重要性衡量中的偏差，将 split-improvement 在外部样本数据上计算后巧妙地整合，可以得到更好的特征总结和筛选工具。

    Mar, 2019

  • 黑盒模型特征重要性可视化

    本文介绍了一种基于局部特征重要性的机器学习可解释性方法，提出了两个可视化工具：partial importance (PI) 和 individual conditional importance (ICI) plots，并引入了 Shapley feature importance，可以公平地分配模型性能，比较不同模型上的特征重要性。

    Apr, 2018

  • 自信特征排序

    基于特征重要性值的排序和置信区间，提出一种后期重要性方法，用于选择前 k 个并具有高概率包含真实的（无限样本）排序。

    Jul, 2023

  • 基于树模型和替代模型的公平特征重要性评分

    我们提出了一种公平特征重要性评分，用于解释决策树等可解释的黑盒机器学习模型对公平性或偏见的贡献。通过模拟和真实示例，我们证明了该方法对树形集成和其他机器学习系统的树形替代物提供了有效的解释性。

    Oct, 2023

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018