Apr, 2023

通过特征的相互影响分析打开随机森林的黑匣子

PDF
TL;DR本文提出了针对异构数据特征关系相互影响的两种新型方法：互济森林影响（MFI）和互济不纯性减少（MIR），并通过 p 值测试程序来选择相关和重要特征，在模拟数据集等应用中表现良好。
random forestmachine learningvariable importancemutual impactfeature selection
发现论文，激发创造
  • 非线性学习算法特征重要性度量

    本文提出了一种可以用于任意机器学习方法 (包括核机器和深度学习) 的 feature importance（特征重要性）的度量方法，可以用于不同层面的算法解释，因此可以提供更好的机器学习预测结果。

    Nov, 2016

  • MDI+: 一种基于随机森林的灵活特征重要性框架

    本文介绍了一种名为 MDI + 的灵活的特征重要性框架，它使用广义线性模型（GLMs）和更适合给定数据结构的度量衡，并结合了额外的功能来缓解对加性或平滑模型的预测的已知偏差。经过广泛的基于数据的模拟和实际案例研究，并将 MDI + 应用于药物反应预测和乳腺癌亚型分类，结果表明，MDI + 在提取预测基因方面优于现有的特征重要性度量，具有更高的稳定性。

    Jul, 2023

  • 通过特征贡献和 MDI 特征重要性解释 Deep Forest

    通过计算和校准来为深层森林设计特征贡献和 MDI 特征重要性的计算工具，验证其在模拟数据和实际数据上的有效性。

    May, 2023

  • 一种去偏置的随机森林特征重要性度量方法

    该论文从理论和方法论两方面，通过提出一种基于无袋预测样本的去偏 MDI 重要性度量方法，即 MDI-oob，来解决 MDI（Mean Decrease Impurity）特征选择方法中的偏差问题，并在其基础上表现出 RF（Random Forests）特征选择方面的最佳性能。

    Jun, 2019

  • 利用特征贡献方法解释随机森林分类模型

    本研究提出了一种计算随机森林分类模型的特征贡献的方法，可以确定每个变量对单个实例的模型预测的影响，并通过分析训练数据集的特征贡献来确定最显着的变量和它们对个别类别预测的贡献模式，并阐述其在 UCI 基准数据集上的应用。

    Dec, 2013

  • 通过随机森林回归进行特征重要性的去相关和趋势检测的概念

    本文介绍了基于 Gram-Schmidt 去相关方法的特征重要性新概念，并提出了用于使用随机森林回归确定数据趋势的绝对和相对横向速率两种估计器。然后，在各种合成和实际数据集上，将我们的估计器的性质与那些知名估计器进行了实证比较。

    Mar, 2023

  • 特征重要性排名度量

    本文介绍了一种名为 Feature Importance Ranking Measure（FIRM）的方法，通过回顾性分析任意学习机器，该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同，FIRM 考虑了特征之间的相关性结构。因此，它能够发现最相关的特征，即使它们在训练数据中的出现完全被噪声阻止。

    Jun, 2009

  • 理解随机森林：从理论到实践

    本文对随机森林进行了深入分析，重点讨论了其学习能力、内部运作和可解释性。本文的贡献在于通过理论分析，证明了随机森林的变量重要性可解释性，从而揭示了随机森林在数据分析和机器学习中的应用潜力。

    Jul, 2014

  • 单样本特征重要性：一种可解释算法用于低层特征分析

    本文介绍了一种解释性特征重要性算法 SSFI，可以识别对于单个样本预测最重要的特征，并通过随机森林分类器 / 回归器的预测路径计算低级特征重要性，从而得出特征的相对重要性排序，同时在四个不同数据集上提出了数值和可视化结果。

    Nov, 2019

  • 利用随机森林相似度距离阐明特征贡献

    通过观察输入的变化如何映射到决策空间中的实例的移动，随着输入的改变将特定的实例靠近内部组或外部组，可以揭示每个要素的独立贡献，从而计算特征对于决策过程的贡献，这使得黑盒决策的解释成为可能。

    Jul, 2018