Sep, 2023

随机森林中超参数对变量选择的影响

PDF
TL;DR随机森林 (RF) 在高维物质研究中的预测建模和变量选择方面具有很好的适用性。超参数在 RF 算法对预测性能和变量重要性估计的影响已被研究，然而，超参数对基于 RF 的变量选择的影响尚不清楚。本文使用理论分布和实验基因表达数据进行两个模拟研究，评估了 Vita 和 Boruta 变量选择程序的效果。我们评估了这些程序在选择重要变量（敏感性）的能力和控制假发现率（FDR）之间的平衡。结果表明，分割候选变量的比例（mtry.prop）和训练数据集的样本比例（sample.fraction）对选择程序的影响大于训练数据集的抽取策略和最小终端节点大小。RF 超参数的适当设置取决于数据中的相关结构。对于弱相关的预测变量，mtry 的默认值是最优的，但较小的 sample.fraction 值会导致更大的敏感性。相反，对于强相关的预测变量，最优值与默认值相比的敏感性差异可忽略，而在其他情况下较小的值更好。总之，超参数的默认值并非总是适合于识别重要变量。因此，适当的取值因研究的目标是否在于优化预测性能或变量选择而异。
发现论文，激发创造
  • 随机森林的超参数与调整策略

    本文研究随机森林算法的超参数设置、影响因素与重要性，提出调优建议，推荐使用基于模型的优化策略，并提供 tuneRanger R 软件包实现自动调优。经过多个数据集的测试比较，与其他调优实现和默认参数的 RF 相比，tuneRanger 在预测性能和运行时间方面表现更优。

    Apr, 2018

  • 随机森林中的相关性和变量重要性

    本篇论文针对高维回归或分类框架中预测变量高度相关的情况下的变量选择问题，研究使用随机森林算法的变量选择。论文提供了一种理论研究和模拟实验的方式，证明了使用递归特征排除算法作为排名标准对变量进行选择的高效性，并进行了陆地卫星数据集的测试。

    Oct, 2013

  • 基于随机森林变量重要性的类别不平衡问题选择算法

    在这篇论文中，研究了类平衡对随机森林变量重要性的影响，并提出了一种利用随机森林变量重要性和置信区间的变量选择算法，在实验研究中表明该算法可以有效地选择最优特征集，改善类不平衡问题的预测性能。

    Dec, 2023

  • 自动参数优化对缺陷预测模型的影响

    本文研究了自动参数优化对于软件缺陷预测模型的影响，通过对 18 个数据集的案例研究，发现自动参数优化可以提高 AUC 性能，使分类器的稳定性不亚于使用默认设置进行训练，大幅调整变量的重要性排名，并且适用于敏感参数，可以在不显著损失性能的情况下在数据集之间传递。

    Jan, 2018

  • 隐变量未被随机森林观察到

    通过修改树的分割方式，相对传统的随机森林算法和极端随机树算法，提高了模型在纯互作用关系占主导地位的场景中的拟合能力。

    Jun, 2024

  • 跨数据集的超参数重要性

    通过在许多数据集上进行元学习，本文提出了一种基于元分析进行自动超参数重要性分析和先验推导的方法，并将其应用于支持向量机、随机森林和 Adaboost 算法中，得到的结果可在手动算法设计和自动超参数优化方面提供数量基础。

    Oct, 2017

  • 随机森林和过拟合的理解：可视化和仿真研究

    随机森林被用于临床风险预测模型，本研究以卵巢恶性肿瘤预测为案例，通过三个真实案例和一个模拟研究，通过二维分布热图和训练数据的概率峰值将风险估计进行可视化，模拟研究结果表明随机森林模型学习到训练集中的概率峰值，训练集上的 c-statistics 接近 1 且测试集上效果显著。

    Feb, 2024

  • 决策树超参数调整的实证研究

    本文提供了一种全面的方法，用于研究超参数调整对 CART，C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进，在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是 Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

    Dec, 2018

  • 利用最大选择排名统计方法的随机生存森林中无偏分裂变量选择

    本文介绍一种使用最大选择秩统计量的随机森林方法来分析生存数据，该方法可以避免变量选择偏倚并检测非线性影响，相对于传统方法和条件推断森林法可以提高生存预测性能且计算速度更快。

    May, 2016

  • 理解随机森林：从理论到实践

    本文对随机森林进行了深入分析，重点讨论了其学习能力、内部运作和可解释性。本文的贡献在于通过理论分析，证明了随机森林的变量重要性可解释性，从而揭示了随机森林在数据分析和机器学习中的应用潜力。

    Jul, 2014