本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

Jun, 2020

通过纠正 Random Forests 和其他基于树的方法中的变量重要性衡量中的偏差，将 split-improvement 在外部样本数据上计算后巧妙地整合，可以得到更好的特征总结和筛选工具。

Mar, 2019

随机森林被用于临床风险预测模型，本研究以卵巢恶性肿瘤预测为案例，通过三个真实案例和一个模拟研究，通过二维分布热图和训练数据的概率峰值将风险估计进行可视化，模拟研究结果表明随机森林模型学习到训练集中的概率峰值，训练集上的 c-statistics 接近 1 且测试集上效果显著。

Feb, 2024

本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

Oct, 2021

决策树是可访问、可解释且性能良好的分类模型。在过去的四十年里，已提出了众多表达能力不断增强的变体。我们对两类一元决策树和多元决策树进行对比，一元决策树通过轴平行超平面对数据进行分区，而多元决策树通过斜超平面对数据进行分区。后者包括前者，因此多元决策树原则上更强大。然而，出乎意料的是，一元决策树在文献中始终展现出相当的性能。我们通过合成和真实世界的基准数据集分析了其原因。我们的研究问题试图测试在数据集中去除特征间相关性的预处理阶段是否对一元决策树和多元决策树的相对性能产生影响。我们发现现有的基准数据集很可能存在偏向一元决策树的问题。

Dec, 2023

本文介绍一种使用最大选择秩统计量的随机森林方法来分析生存数据，该方法可以避免变量选择偏倚并检测非线性影响，相对于传统方法和条件推断森林法可以提高生存预测性能且计算速度更快。

May, 2016

模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

Nov, 2023

在这篇文章中，我们探讨了决策树方法（例如随机森林）处理分类预测变量的能力会导致 “缺失层面” 问题，从而影响了模型的准确性，提出了一些简单的启发式方法来缓解这个问题。

Jun, 2017

我们研究了随机森林相对于 bagging 方法减少偏差的现象，并通过实证研究发现在数据中存在模式时，随机森林在高信噪比情况下减少了偏差和方差，并优于 bagging 方法。对于随机森林中的随机性注入和参数调整也提供了实用的洞见。

Feb, 2024

本论文主要研究将一组决策树表示为较小的一组决策树的问题，其中只考虑二进制域上的二元决策问题和简单决策树。通过实验，我们展示了如果 $n-T$ 是一个常数，即 $n$ 和 $T$ 必须是奇数（以避免并列情况），则 $n$ 个变量的多数函数可以由 $T$ 个决策树的集合以多项式大小表示，同时也证明了如果 $n-T$ 是一个常数且允许小的分类错误，则 $n$ 个决策树可以由 $T$ 个决策树的集合以多项式大小表示。我们还介绍了关于 $k$ 个为真的 $n$ 个函数的相关结果。

Dec, 2023