Jun, 2015

CO2 Forest: 通过斜切的连续优化实现改进的随机森林

HTML
PDF
TL;DR本研究提出了一种优化多元线性阈值函数作为决策树分裂函数以创建改进的 Random Forest 分类器的新算法，相较于标准的树归纳方法，该方法采用随机梯度下降优化每个节点的线性组合（斜）分裂函数，比之前的构建斜树的技术和单变量分裂函数的随机抽样和穷举搜索方法具有更好的性能，已在多类分类基准测试和 Labeled Faces in the Wild （LFW）数据集上进行了实验验证。
发现论文，激发创造
  • 解释AdaBoost和随机森林作为插值分类器的成功

    本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理，即它们都能产生类似的“尖峰平缓”的分类器，且并不需要规则化或早期停止。

    Apr, 2015

  • 标准相关森林

    介绍了一种新的分类和回归决策树集成方法 - 规范相关森林，它能够处理存在相关性的多个特征， 具有优异的性能以及更快的训练速度。

    Jul, 2015

  • 决策树高效非贪婪优化

    该论文提出了一种算法，该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数，使用随机梯度下降进行优化，实验结果表明，该算法相比贪心算法在分类任务的表现优秀。

    Nov, 2015

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • 预算引导下的随机森林修剪

    本文提出了一种基于整数规划及组合优化的随机森林修剪算法，以优化特征的成本与准确性，实验结果表明该算法在资源受限情况下表现优于现有算法。

    Jun, 2016

  • 最优随机分类树中的稀疏性

    本文提出了一种连续优化方法来构建精简的最佳分类树，基于斜裁剪，并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性，证明了其对提高分类精度具有实用性。

    Feb, 2020

  • 异质斜向双重随机森林

    研究探讨了使用多个线性分类器的异构斜交双随机森林(heterogeneous oblique double RaF) 用于特定疾病的预测，相较于基础模型该模型的表现更佳，并可以更好的捕捉数据的几何特性和生成更大的树。

    Apr, 2023

  • 双曲随机森林

    通过使用水平面将随机森林推广到双曲空间，使用大边际分类器找到候选分割，再结合子类最低共同祖先和类平衡的大边际损失方法，可以解决多类数据和不平衡实验问题，并且在标准和新的基准测试中表现优于传统随机森林算法和最近双曲分类器。

    Aug, 2023

  • 通过森林修剪提高随机森林的准确性和可解释性

    通过提出两种森林修剪方法，我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性，通过在给定随机森林中找出最佳子森林，再将选定的树组合在一起，实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。

    Jan, 2024

  • 自适应分割平衡优化随机森林

    本研究介绍了自适应分割平衡森林（ASBF）方法，能够在同时达到Lipschitz类的极小极值优化和H"older类的极小速率优化的条件下，从数据中学习树的表示。通过平衡修改现有方法，我们进一步提出了一种局部化版本来利用更高阶的平滑水平。实验结果表明，过度依赖辅助随机性可能会损害树模型的逼近能力，导致次优结果。相反，一种不那么随机、更加平衡的方法表现出最佳性。此外，我们还确定了均匀上界，并探讨了随机森林在平均处理效应估计问题中的应用。通过模拟研究和实际数据应用，我们展示了所提出方法相对于现有随机森林的卓越实证表现。

    Feb, 2024