Dec, 2023

关于随机森林中节点数量和树数量之间的折衷

PDF
TL;DR本论文主要研究将一组决策树表示为较小的一组决策树的问题，其中只考虑二进制域上的二元决策问题和简单决策树。通过实验，我们展示了如果 $n-T$ 是一个常数，即 $n$ 和 $T$ 必须是奇数（以避免并列情况），则 $n$ 个变量的多数函数可以由 $T$ 个决策树的集合以多项式大小表示，同时也证明了如果 $n-T$ 是一个常数且允许小的分类错误，则 $n$ 个决策树可以由 $T$ 个决策树的集合以多项式大小表示。我们还介绍了关于 $k$ 个为真的 $n$ 个函数的相关结果。
发现论文，激发创造
  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • TREE：树正则化用于高效执行

    通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

    Jun, 2024

  • 每个决策树都有一个有影响的变量

    本论文通过研究影响因素较大的输入变量，证明了一个关于平衡布尔函数复杂度下界的结论，并进一步应用于研究随机查询复杂性的下界。

    Aug, 2005

  • CART 稀疏学习

    本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

    Jun, 2020

  • 随机森林的代价复杂度剪枝

    通过使用 out-of-bag 样本来提高随机森林的泛化误差表现。对 UCI 数据库中的四个数据集进行的初步实证研究表明，随机森林的规模有所减小，而精度损失不大。

    Mar, 2017

  • 随机化可以降低偏差和方差：随机森林的案例研究

    我们研究了随机森林相对于 bagging 方法减少偏差的现象，并通过实证研究发现在数据中存在模式时，随机森林在高信噪比情况下减少了偏差和方差，并优于 bagging 方法。对于随机森林中的随机性注入和参数调整也提供了实用的洞见。

    Feb, 2024

  • 最优随机分类树

    本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

    Oct, 2021

  • 大数据的随机森林

    本文主要关注于基于分类问题的随机森林模型处理大数据问题的现有方案，并尝试了五个变体实验，探究它们的相对性能和局限性。

    Nov, 2015

  • 基于决策树作为数据观测过程的贝叶斯决策理论最优预测算法

    本篇论文利用决策树表示数据观测过程并使用基于贝叶斯决策理论的先验概率分布，将实现统计上最优的预测结果。同时，我们解决了计算 Bayes 最优预测的问题，例如内部节点的特征分配问题，实现方法为应用马尔可夫链 - 蒙特卡洛方法，其步长可以根据先验分布自适应调整。

    Jun, 2023

  • 在不确定性下结合预测：随机决策树的案例

    本研究探讨了多个概率预测方法，包括基于信任函数和可靠分类的方法以及我们称之为证据累加的原则。实验结果表明证据累加的效果优于投票和取平均值的方法，特别是在中等规模的叶子节点上。

    Aug, 2022