滚动前瞻学习最优分类树
本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树,这种算法支持对树的深度和节点数量设置限制,并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集,从而极大地提高了最优决策树的实用性。
Jul, 2020
该论文提出了一种基于流的 MIO 表达式,以用于学习最优二叉分类决策树,并可容纳相应的边际约束,从而使决策树设计变得透明和公平。作者通过实验证明,其相较同类现有 MIO 方法,在性能和计算速度方面有明显提升。
Mar, 2021
基于混合整数规划技术,我们提出了一种学习鲁棒分类树的方法,通过问题转化和约束生成的解决方法,在公共可用数据集上展示了最差情况准确率提高了 12.48%,平均情况准确率提高了 4.85%。
Oct, 2023
本研究提出了一个通用框架并构建了一种新型的最优逻辑树模型,该模型采用线性分段逼近法处理逻辑损失,并与 L1 正则项耦合,证明其能够诱导出具有更好可解释性和竞争性推广能力的树状模型,相对于现有的 MIP-based 方法。
Jun, 2023
本文提出一种新颖的演化算法,结合可行解空间的探索和局部搜索,用于归纳分类树,以达到具有一般化能力的结构,其表现与最先进的方法相当,并适用于包含成千上万数据点的数据集。
May, 2023
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
本文研究多类别分类问题,提出了一种新的基于树的方法,通过动态分区构造深度对数的树,能够在类别数较大的情况下在训练和测试时间上实现对数复杂度;同时采用在线决策树构建程序解决了节点目标函数优化的挑战,实验证明该算法显著提高了分类准确率,适用于大规模应用中的场景。
Jun, 2014
本文提出了一种叫 Offset Tree 的算法,用于在只观察到一个选择的收益而不是全部选择的情况下学习决策。该算法将这种情况转化为二元分类,允许在部分信息情况下重用任何现有的完全监督的二元分类算法。实验证明,Offset Tree 通常比几种替代方法表现更好,并且是一种在计算上最优的算法,不管是在训练还是测试时,只需要 O(log_2 k)的工作即可训练模型或作出预测。
Dec, 2008
该研究提出了一种基于流的 MIP 公式,利用 Bender's 分解方法解决最优二元分类树问题,该方法比现有的 MIP 技术快 50 倍,并在标准基准数据集上将预测精度提高多达 13.8%。
Feb, 2020
提供用于优化昂贵黑匣子函数的一种多步先见性贝叶斯优化方法,采用多步方案树内嵌化简的方法,通过高效的多步高斯过程虚拟化实现,超过现有方法的表现。
Jun, 2020