Oct, 2023

基于 MMD 的分布式随机森林变量重要性

PDF
TL;DR分布随机森林是一种灵活的基于森林的方法，用于估计给定输入变量的一个多变量输出的全条件分布。本文介绍了一种用于分布随机森林的变量重要性算法，基于已建立的删除与重学习原则和最大均值差异距离。我们展示了该引入的重要性指标是一致的，在真实数据和模拟数据上表现出高的经验性能，并胜过竞争对手。特别地，我们的算法通过递归特征消除高效地选择变量，从而能够提供用于建立条件输出分布的准确估计的小的变量集。
distributional random forestvariable importancedrop and relearn principlemmd distancerecursive feature elimination
发现论文，激发创造
  • 分布式随机森林：异质性调整和多元分布回归

    提出一种基于 MMD 分布度量的新的森林构建方法，用于多元响应的联合条件分布，由此产生的权重定义了完全条件分布的估计，可用于任意复杂的目标，适用于用 Python 和 R 包 drf 的广泛示例。

    May, 2020

  • 随机森林中的相关性和变量重要性

    本篇论文针对高维回归或分类框架中预测变量高度相关的情况下的变量选择问题，研究使用随机森林算法的变量选择。论文提供了一种理论研究和模拟实验的方式，证明了使用递归特征排除算法作为排名标准对变量进行选择的高效性，并进行了陆地卫星数据集的测试。

    Oct, 2013

  • MDI+: 一种基于随机森林的灵活特征重要性框架

    本文介绍了一种名为 MDI + 的灵活的特征重要性框架，它使用广义线性模型（GLMs）和更适合给定数据结构的度量衡，并结合了额外的功能来缓解对加性或平滑模型的预测的已知偏差。经过广泛的基于数据的模拟和实际案例研究，并将 MDI + 应用于药物反应预测和乳腺癌亚型分类，结果表明，MDI + 在提取预测基因方面优于现有的特征重要性度量，具有更高的稳定性。

    Jul, 2023

  • 基于随机森林变量重要性的类别不平衡问题选择算法

    在这篇论文中，研究了类平衡对随机森林变量重要性的影响，并提出了一种利用随机森林变量重要性和置信区间的变量选择算法，在实验研究中表明该算法可以有效地选择最优特征集，改善类不平衡问题的预测性能。

    Dec, 2023

  • 一种去偏置的随机森林特征重要性度量方法

    该论文从理论和方法论两方面，通过提出一种基于无袋预测样本的去偏 MDI 重要性度量方法，即 MDI-oob，来解决 MDI（Mean Decrease Impurity）特征选择方法中的偏差问题，并在其基础上表现出 RF（Random Forests）特征选择方面的最佳性能。

    Jun, 2019

  • 通过特征贡献和 MDI 特征重要性解释 Deep Forest

    通过计算和校准来为深层森林设计特征贡献和 MDI 特征重要性的计算工具，验证其在模拟数据和实际数据上的有效性。

    May, 2023

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018

  • 所有的模型都是错误的，但很多都是有用的：通过同时研究整个预测模型类来学习变量的重要性

    该研究提出模型类依赖（MCR）作为评估预测模型准确性的变量重要性（VI）方法，通过考虑不同参数形式的多个预测模型来提供更全面的重要性描述，并将 MCR 应用于 Broward 县犯罪记录的公共数据集，研究了性别和种族对累犯预测模型的依赖关系。

    Jan, 2018

  • 二元回归树与随机森林中的变量重要性

    我们研究了二进制回归树中变量重要性和成对变量关联的性质，将理论从单棵树自然地扩展到树的集合，适用于随机森林等方法，因为这对筛选高通量基因组数据等过滤变量具有实用价值，而关于这些重要性值的性质很少有理论存在。

    Nov, 2007

  • 可解释分布比较中的最大均值差异的变量选择

    这篇研究论文研究了在两样本检验中的变量选择问题，基于最大平均差异（MMD）的两样本检验的能力，通过优化自适应相关检测（ARD）权重来确定引起两个分布差异的变量，提出了考虑稀疏正则化的两种方法以解决选择适当正则化参数的问题，并通过与基线方法的系统比较验证了所提出方法的有效性，在高维交通仿真数据的探索性分析中展示了所提方法的实用性，同时也提供了变量选择在两样本检验中的严格定义的初步理论分析。

    Nov, 2023