KDDJun, 2009

特征重要性排名度量

PDF
TL;DR本文介绍了一种名为 Feature Importance Ranking Measure（FIRM）的方法，通过回顾性分析任意学习机器，该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同，FIRM 考虑了特征之间的相关性结构。因此，它能够发现最相关的特征，即使它们在训练数据中的出现完全被噪声阻止。
learning machinesfeature spacesvariable selectionpredictive powerinterpretation
发现论文，激发创造
  • 非线性学习算法特征重要性度量

    本文提出了一种可以用于任意机器学习方法 (包括核机器和深度学习) 的 feature importance（特征重要性）的度量方法，可以用于不同层面的算法解释，因此可以提供更好的机器学习预测结果。

    Nov, 2016

  • 监督式特征排名算法的新型评估方法

    本文提出了一种新的评估方法，使用合成数据集评估特征重要性得分，并构建了一个名为 fseval 的 Python 基准测试框架，该框架允许在 HPC 系统上并行和分布式地执行实验。通过与在线平台 Weights and Biases 集成，可以在实时仪表板上交互地探索图表。研究结论通过探索一种大规模实验来找出参与算法的优点和缺点。

    Jul, 2022

  • 利用模型内在变量重要性进行稳定的在线特征选择

    本文提出了一种基于 FIRES 的在线特征选择新框架，通过处理模型参数作为随机变量惩罚不确定性高的特征，选择更加稳定的特征集，并实验证明该框架在稳定性方面显著优于现有方法。

    Jun, 2020

  • 自信特征排序

    基于特征重要性值的排序和置信区间，提出一种后期重要性方法，用于选择前 k 个并具有高概率包含真实的（无限样本）排序。

    Jul, 2023

  • 非参数特征影响与重要性

    该论文提出了特征重要性和特征影响的数学定义，并通过局部依赖曲线直接在数据上对其进行评估，证明其在预测任务中与现有特征选择技术具有竞争力。

    Jun, 2020

  • 对文本数据进行特征重要性和规则提取的可解释性比较

    本文研究机器学习算法中普遍存在的可解释性方法，通过不同的解释方法应用到简单的模型中，发现不同之处并提出一种新的方法来比较不同解释间的差异。

    Jul, 2022

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018

  • 特征重要性的固有不一致性

    本文提出一种新的特征重要性得分框架，通过将特征空间重新划分成可分离集合，从而统一了现有研究所存在的不一致性，实现了对机器学习算法的可解释性。

    Jun, 2022

  • 相关性下的变量重要性排序挑战

    变量重要性在可解释机器学习中起着关键作用，它有助于衡量因素对预测模型输出的影响。我们的研究重点是评估和评估旨在解决变量重要性评估中特征相关性问题的方法，如条件预测影响（CPI）等，我们首先进行综合模拟研究，调查特征相关性对变量重要性评估的影响，然后通过 knockoff 构造从理论上证明高相关特征对 CPI 的限制。我们的发现强调了处理高特征相关性时的困难和方法在变量重要性评估中的实用性和局限性的必要性。

    Feb, 2024

  • 基于树模型和替代模型的公平特征重要性评分

    我们提出了一种公平特征重要性评分，用于解释决策树等可解释的黑盒机器学习模型对公平性或偏见的贡献。通过模拟和真实示例，我们证明了该方法对树形集成和其他机器学习系统的树形替代物提供了有效的解释性。

    Oct, 2023