通过提出一种决策树优化框架,解决了当前领域中两个开放性问题:不平衡数据处理和连续变量完全优化。此外,我们还介绍了一种可扩展的算法,可以在存在连续变量的情况下产生可证明的最优结果,并相对于现有技术将决策树构建速度提高了数个数量级。
Jun, 2020
这篇论文介绍了第一种针对二进制变量进行最佳决策树生成的实用算法,该算法结合了分析界限和数据结构等现代技术,在可扩展性、速度和最优性方面具有明显优势。
Apr, 2019
通过使用智能猜测策略,我们可以在几个数量级的时间里降低运行时间,提供对最佳决策树误差和表达能力偏差的界限,并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。
Dec, 2021
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
本文介绍一种新的决策树分类算法,该算法采用连续优化,每个决策节点采取随机决策,实现了较好的性能效果。
Oct, 2021
本文提出了一种动态编程方法来构建确切的最优稀疏回归树,并基于一维 k-Means 聚类算法提出了新的下界,我们能够在几秒钟内找到具有挑战性的数据集的最优稀疏树。
Nov, 2022
本研究提出了三种算法来高效地稀疏加权决策树优化,解决了算法无法处理加权数据样本的问题,这在影响个体数据点上的倒数概率加权方面有重要应用.
Oct, 2022
本文研究了 CART 方法构建的回归树的统计特性,发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制,并通过构建先验分布和解决非线性优化问题来限制其范围,利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时,使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡,同时,数据相关量可以适应回归模型的维度和潜在结构,控制预测误差的收敛速度。
该研究通过外显地对深度模型进行规则化,以便人类用户可以快速了解模型预测过程,训练了深度时间序列模型,使其类概率预测具有高准确性,同时又被节点较少的决策树紧密建模。通过直观的玩具示例以及用于治疗脓毒症和艾滋病的医学任务,我们展示了这种新的树规则化方法产生的模型比简单的 L1 或 L2 惩罚更容易被人类模拟,同时不会牺牲预测能力。
Nov, 2017
通过奖励不均匀概率分布来减少决策树路径长度,优化决策树的内存架构感知实现以降低执行时间。
Jun, 2024