NIPSNov, 2016

非线性学习算法特征重要性度量

PDF
TL;DR本文提出了一种可以用于任意机器学习方法 (包括核机器和深度学习) 的 feature importance（特征重要性）的度量方法，可以用于不同层面的算法解释，因此可以提供更好的机器学习预测结果。
kernel machinesdeep neural networksexplanationfeature importancemachine learning
发现论文，激发创造
  • 特征重要性排名度量

    本文介绍了一种名为 Feature Importance Ranking Measure（FIRM）的方法，通过回顾性分析任意学习机器，该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同，FIRM 考虑了特征之间的相关性结构。因此，它能够发现最相关的特征，即使它们在训练数据中的出现完全被噪声阻止。

    Jun, 2009

  • 科学推理的特征重要性方法指南

    该论文是一项关于解释性方法在机器学习中的应用的综合指南，通过对特征重要性方法进行广泛的回顾和对其解释的新证明，为我们提供了对这些方法的深入理解，并为科学推理提供具体的建议。此外，该论文还讨论了特征重要性不确定性估计的选项，并指出了从黑盒机器学习模型获得全面统计推理的未来研究方向。

    Apr, 2024

  • 通过特征的相互影响分析打开随机森林的黑匣子

    本文提出了针对异构数据特征关系相互影响的两种新型方法：互济森林影响（MFI）和互济不纯性减少（MIR），并通过 p 值测试程序来选择相关和重要特征，在模拟数据集等应用中表现良好。

    Apr, 2023

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018

  • 增量置换特征重要性（iPFI）：面向数据流的在线解释

    提出了一种名为 iPFI 的有效的、模型无关的算法，用于在动态建模条件下估计特征边际化的增量特征重要性评估方法，包括概念漂移。实验证明，相比传统的批处理 PFI 方法，该方法具有良好的效果。

    Sep, 2022

  • 非参数特征影响与重要性

    该论文提出了特征重要性和特征影响的数学定义，并通过局部依赖曲线直接在数据上对其进行评估，证明其在预测任务中与现有特征选择技术具有竞争力。

    Jun, 2020

  • 对文本数据进行特征重要性和规则提取的可解释性比较

    本文研究机器学习算法中普遍存在的可解释性方法，通过不同的解释方法应用到简单的模型中，发现不同之处并提出一种新的方法来比较不同解释间的差异。

    Jul, 2022

  • MDI+: 一种基于随机森林的灵活特征重要性框架

    本文介绍了一种名为 MDI + 的灵活的特征重要性框架，它使用广义线性模型（GLMs）和更适合给定数据结构的度量衡，并结合了额外的功能来缓解对加性或平滑模型的预测的已知偏差。经过广泛的基于数据的模拟和实际案例研究，并将 MDI + 应用于药物反应预测和乳腺癌亚型分类，结果表明，MDI + 在提取预测基因方面优于现有的特征重要性度量，具有更高的稳定性。

    Jul, 2023

  • 单样本特征重要性：一种可解释算法用于低层特征分析

    本文介绍了一种解释性特征重要性算法 SSFI，可以识别对于单个样本预测最重要的特征，并通过随机森林分类器 / 回归器的预测路径计算低级特征重要性，从而得出特征的相对重要性排序，同时在四个不同数据集上提出了数值和可视化结果。

    Nov, 2019

  • 特征重要性的固有不一致性

    本文提出一种新的特征重要性得分框架，通过将特征空间重新划分成可分离集合，从而统一了现有研究所存在的不一致性，实现了对机器学习算法的可解释性。

    Jun, 2022