计算最优树集合
该研究使用基于树的集成方法,如随机森林、梯度提升树和贝叶斯增加回归树,在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本,通过将每个观测分配到相对应的概率分布区域,为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的,并在实验中研究了它们的偏差 - 方差折衷,并与最先进的性能预测方法进行比较。
Jun, 2024
本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法,它使用随机近端梯度下降法训练小到中等大小的决策树,并在小窗口上处理数据以节省内存。实验表明,该方法在资源有限的情况下仍然表现出色。
Dec, 2021
本研究旨在解决决策树集成在多领域应用时造成的可解释性下降,提出了 Born-Again 树集成的方法,通过动态规划算法生成出在实际数据集上表现优异的 Born-Again 树模型,以在不牺牲分类器性能的前提下获得更高的可解释性。
Mar, 2020
通过使用智能猜测策略,我们可以在几个数量级的时间里降低运行时间,提供对最佳决策树误差和表达能力偏差的界限,并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。
Dec, 2021
使用稀疏感应的 soft decision trees 取代传统的决策树集成方法,可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法,理论上得到强大的支持,并在基准数据集上表现出良好的性能。
Jul, 2017
通过提出一种决策树优化框架,解决了当前领域中两个开放性问题:不平衡数据处理和连续变量完全优化。此外,我们还介绍了一种可扩展的算法,可以在存在连续变量的情况下产生可证明的最优结果,并相对于现有技术将决策树构建速度提高了数个数量级。
Jun, 2020
本研究提出了一种通过模型简化方法(树模型的选择问题),使得复杂的树模型具有可解释性的算法,该算法可以保证预测性能的同时,将复杂的树模型逼近成最简单的表现形式
Jun, 2016
本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树,这种算法支持对树的深度和节点数量设置限制,并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集,从而极大地提高了最优决策树的实用性。
Jul, 2020