基于输出限制的决策树
通过提出一种决策树优化框架,解决了当前领域中两个开放性问题:不平衡数据处理和连续变量完全优化。此外,我们还介绍了一种可扩展的算法,可以在存在连续变量的情况下产生可证明的最优结果,并相对于现有技术将决策树构建速度提高了数个数量级。
Jun, 2020
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
该论文提出了一种基于流的 MIO 表达式,以用于学习最优二叉分类决策树,并可容纳相应的边际约束,从而使决策树设计变得透明和公平。作者通过实验证明,其相较同类现有 MIO 方法,在性能和计算速度方面有明显提升。
Mar, 2021
本研究探索了决策树中子树优化的分离可行性条件及其建立的动态规划框架对于不同应用各目标和约束的普适性。实验证明该框架在可扩展性上优于通用求解器。
May, 2023
本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树,这种算法支持对树的深度和节点数量设置限制,并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集,从而极大地提高了最优决策树的实用性。
Jul, 2020
本文提出了一种新的基于支持向量机和 1 - 范数分多元决策树(ODT)训练的混合整数规划(MIP)公式,利用线性规划(LP)数据选择方法选择数据样本,实现了对大数据集的有效训练,并在包含 245,000 个样本的数据集上验证了该方法优于现有的启发式方法和其他基于 MIP 的技术的效果。
Nov, 2020
决策树是可访问、可解释且性能良好的分类模型。在过去的四十年里,已提出了众多表达能力不断增强的变体。我们对两类一元决策树和多元决策树进行对比,一元决策树通过轴平行超平面对数据进行分区,而多元决策树通过斜超平面对数据进行分区。后者包括前者,因此多元决策树原则上更强大。然而,出乎意料的是,一元决策树在文献中始终展现出相当的性能。我们通过合成和真实世界的基准数据集分析了其原因。我们的研究问题试图测试在数据集中去除特征间相关性的预处理阶段是否对一元决策树和多元决策树的相对性能产生影响。我们发现现有的基准数据集很可能存在偏向一元决策树的问题。
Dec, 2023
自主代理与人类价值的对齐是部署这些代理到物理环境中时的一个关键挑战,安全性是其中一个重要关注点。为了解决这一挑战,我们提出了一种新的方法,利用一类决策树来从专家示范中进行学习。这些决策树以逻辑公式的形式表示与给定环境相关的一组约束条件。所学到的约束条件随后用于有约束的强化学习框架,实现安全策略的获取。与其他方法不同,我们的方法提供了约束条件的可解释性表示,这在安全关键环境中是一个至关重要的特性。为了验证我们提出方法的有效性,我们在合成基准领域和真实驾驶环境中进行了实验。
Dec, 2023
本文提出了一种混合整数规划的方法来构建特定大小的最优决策树,采用特殊结构的分类特征,考虑每个节点上基于特征子集的组合决策,并通过阈值处理处理数值特征,证明了在中等规模的训练集下,采用小型决策树可获得很高的准确率,我们使用现代求解器解决所提出的优化问题。
Dec, 2016