随机森林 (RF) 在高维物质研究中的预测建模和变量选择方面具有很好的适用性。超参数在 RF 算法对预测性能和变量重要性估计的影响已被研究，然而，超参数对基于 RF 的变量选择的影响尚不清楚。本文使用理论分布和实验基因表达数据进行两个模拟研究，评估了 Vita 和 Boruta 变量选择程序的效果。我们评估了这些程序在选择重要变量（敏感性）的能力和控制假发现率（FDR）之间的平衡。结果表明，分割候选变量的比例（mtry.prop）和训练数据集的样本比例（sample.fraction）对选择程序的影响大于训练数据集的抽取策略和最小终端节点大小。RF 超参数的适当设置取决于数据中的相关结构。对于弱相关的预测变量，mtry 的默认值是最优的，但较小的 sample.fraction 值会导致更大的敏感性。相反，对于强相关的预测变量，最优值与默认值相比的敏感性差异可忽略，而在其他情况下较小的值更好。总之，超参数的默认值并非总是适合于识别重要变量。因此，适当的取值因研究的目标是否在于优化预测性能或变量选择而异。

Sep, 2023

该论文提出一种基于贝叶斯优化的多准则优化框架，以平衡 “随机森林” 分类和回归模型的错误率、预测的稳定性和计算成本。作者表示，在实际应用中，通过优化错误率来选择最优参数的方法可能会引入不必要的成本，而使用该框架可得到不同于错误率优化的参数设置。

Jun, 2017

该论文综述了随机森林算法的理论和方法发展，重点讨论了参数选择、重采样机制和变量重要性测量等数学因素驱动该算法，并强调了其在分类、回归和变量重要性测量等方面的应用。

Nov, 2015

本文提供了一种全面的方法，用于研究超参数调整对 CART，C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进，在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是 Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

Dec, 2018

研究了随机森林模型的统计性质，证明其是一致的，适应于稀疏数据，收敛速度只与有效特征的数量有关。

May, 2010

本文对随机森林进行了深入分析，重点讨论了其学习能力、内部运作和可解释性。本文的贡献在于通过理论分析，证明了随机森林的变量重要性可解释性，从而揭示了随机森林在数据分析和机器学习中的应用潜力。

Jul, 2014

本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

Aug, 2021

在这篇论文中，研究了类平衡对随机森林变量重要性的影响，并提出了一种利用随机森林变量重要性和置信区间的变量选择算法，在实验研究中表明该算法可以有效地选择最优特征集，改善类不平衡问题的预测性能。

Dec, 2023

本文提出了一种基于权重优化的随机森林算法，通过极小化预测误差和风险来决定基本学习器的权重，实验结果显示该算法在回归问题上的预测精度优于其他算法。

May, 2023

本文主要关注于基于分类问题的随机森林模型处理大数据问题的现有方案，并尝试了五个变体实验，探究它们的相对性能和局限性。

Nov, 2015