NIPSNov, 2015

决策树高效非贪婪优化

PDF
TL;DR该论文提出了一种算法，该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数，使用随机梯度下降进行优化，实验结果表明，该算法相比贪心算法在分类任务的表现优秀。
decision treesrandomized forestsmachine learningstructured predictionstochastic gradient descent
发现论文，激发创造
  • CO2 Forest: 通过斜切的连续优化实现改进的随机森林

    本研究提出了一种优化多元线性阈值函数作为决策树分裂函数以创建改进的 Random Forest 分类器的新算法，相较于标准的树归纳方法，该方法采用随机梯度下降优化每个节点的线性组合（斜）分裂函数，比之前的构建斜树的技术和单变量分裂函数的随机抽样和穷举搜索方法具有更好的性能，已在多类分类基准测试和 Labeled Faces in the Wild （LFW）数据集上进行了实验验证。

    Jun, 2015

  • 通用和可扩展的最优稀疏决策树

    通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

    Jun, 2020

  • 最优随机分类树中的稀疏性

    本文提出了一种连续优化方法来构建精简的最佳分类树，基于斜裁剪，并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性，证明了其对提高分类精度具有实用性。

    Feb, 2020

  • 随机优化森林

    本文研究了背景下的随机优化问题，提出了一种基于森林决策策略的解决方案，通过开发近似分裂准则，我们能够有效降低运行时间，并在性能上接近于每个候选分裂都进行重新优化的森林算法.

    Aug, 2020

  • 最优稀疏决策树

    这篇论文介绍了第一种针对二进制变量进行最佳决策树生成的实用算法，该算法结合了分析界限和数据结构等现代技术，在可扩展性、速度和最优性方面具有明显优势。

    Apr, 2019

  • 可分离目标的最优决策树：推动动态规划的极限

    本研究探索了决策树中子树优化的分离可行性条件及其建立的动态规划框架对于不同应用各目标和约束的普适性。实验证明该框架在可扩展性上优于通用求解器。

    May, 2023

  • 使用正则化的贪心森林学习非线性函数

    通过正则化贪心搜索直接学习决策树的方法可以获得比梯度提升和 Adaboost 更高的精度和更小的模型。

    Sep, 2011

  • 使用梯度下降学习决策树

    本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

    May, 2023

  • 通过参考集合快速稀疏决策树优化

    通过使用智能猜测策略，我们可以在几个数量级的时间里降低运行时间，提供对最佳决策树误差和表达能力偏差的界限，并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。

    Dec, 2021

  • MurTree：使用动态规划和搜索实现的最优分类树

    本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树，这种算法支持对树的深度和节点数量设置限制，并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集，从而极大地提高了最优决策树的实用性。

    Jul, 2020