Apr, 2024

科学推理的特征重要性方法指南

PDF
TL;DR该论文是一项关于解释性方法在机器学习中的应用的综合指南，通过对特征重要性方法进行广泛的回顾和对其解释的新证明，为我们提供了对这些方法的深入理解，并为科学推理提供具体的建议。此外，该论文还讨论了特征重要性不确定性估计的选项，并指出了从黑盒机器学习模型获得全面统计推理的未来研究方向。
machine learningfeature importanceinterpretationsscientific inferenceblack-box ml models
发现论文，激发创造
  • 非线性学习算法特征重要性度量

    本文提出了一种可以用于任意机器学习方法 (包括核机器和深度学习) 的 feature importance（特征重要性）的度量方法，可以用于不同层面的算法解释，因此可以提供更好的机器学习预测结果。

    Nov, 2016

  • 特征重要性解释的可解释性与搜索方法中的越界问题

    本篇研究提出了多维特征重要性（FI）解释的新方法，包括改进训练过程、比较不同特征移除方法、引入四种基于搜索的方法来识别 FI 解释。在六个文本分类数据集上的实验表明，引入的平行本地搜索（PLS）方法是唯一能够持续优于随机搜索的方法，FI 解释的改进也大幅提升了分类性能。

    Jun, 2021

  • 增量置换特征重要性（iPFI）：面向数据流的在线解释

    提出了一种名为 iPFI 的有效的、模型无关的算法，用于在动态建模条件下估计特征边际化的增量特征重要性评估方法，包括概念漂移。实验证明，相比传统的批处理 PFI 方法，该方法具有良好的效果。

    Sep, 2022

  • 基于树模型和替代模型的公平特征重要性评分

    我们提出了一种公平特征重要性评分，用于解释决策树等可解释的黑盒机器学习模型对公平性或偏见的贡献。通过模拟和真实示例，我们证明了该方法对树形集成和其他机器学习系统的树形替代物提供了有效的解释性。

    Oct, 2023

  • 通用框架：关于对算法无关变量重要性的推断

    本文提出了关于变量重要性的非参数推断的一般框架，定义了变量重要性作为所有可用特征与除考虑特征外的所有特征之间的神谕可预测性的总体对比，并提出了有效的估计程序和策略。

    Apr, 2020

  • 特征重要性与特征影响：对可解释人工智能的意义

    这篇论文提供了一种统一的定义，可以应用于后续解释，评估不同方法的忠实度和稳定性，并且展示了使用上下文重要性和效用可以提供比只使用影响力时更富表达力和灵活性的解释。

    Aug, 2023

  • 基于因果关系的特征重要性量化方法：PN-FI、PS-FI 和 PNS-FI

    本文介绍了如何在机器学习领域中利用 PNS（必要性和充分性的概率）计算特征重要性，并创建了新的特征重要性测量方法：PN-FI、PS_FI 和 PNS_FI。通过三个 RCT 得到的结果展示了三个特征（狗的鼻子，眼睛和嘴巴）的 PS_FI、PN_FI 和 PNS_FI 的计算方式，FI 值为紧密的上下界间的区间。

    Aug, 2023

  • 对文本数据进行特征重要性和规则提取的可解释性比较

    本文研究机器学习算法中普遍存在的可解释性方法，通过不同的解释方法应用到简单的模型中，发现不同之处并提出一种新的方法来比较不同解释间的差异。

    Jul, 2022

  • 黑盒模型特征重要性可视化

    本文介绍了一种基于局部特征重要性的机器学习可解释性方法，提出了两个可视化工具：partial importance (PI) 和 individual conditional importance (ICI) plots，并引入了 Shapley feature importance，可以公平地分配模型性能，比较不同模型上的特征重要性。

    Apr, 2018

  • 特征重要性排名度量

    本文介绍了一种名为 Feature Importance Ranking Measure（FIRM）的方法，通过回顾性分析任意学习机器，该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同，FIRM 考虑了特征之间的相关性结构。因此，它能够发现最相关的特征，即使它们在训练数据中的出现完全被噪声阻止。

    Jun, 2009