Dec, 2016

基于整数规划的最优广义决策树

PDF
TL;DR本文提出了一种混合整数规划的方法来构建特定大小的最优决策树，采用特殊结构的分类特征，考虑每个节点上基于特征子集的组合决策，并通过阈值处理处理数值特征，证明了在中等规模的训练集下，采用小型决策树可获得很高的准确率，我们使用现代求解器解决所提出的优化问题。
decision treescategorical featuresmixed integer programmingoptimal sizeaccuracy
发现论文，激发创造
  • 基于整数规划的算法选择问题的最优决策树

    本文提出了基于整数规划的方法来构建用于算法选择问题的决策树，并使用 COIN-OR Branch & Cut solver 实现的线性规划算法进行了实验。实验结果表明，该方法具有很好的泛化性能且未过度拟合。

    Jul, 2019

  • 通用和可扩展的最优稀疏决策树

    通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

    Jun, 2020

  • 通过整数规划从树集合中提取可解释规则的统一方法

    从训练的树集成中提取一组优化的规则，提供给用户一个简化、可解释的模型，保留了完整模型的大部分预测能力。

    Jun, 2024

  • 最优稀疏决策树

    这篇论文介绍了第一种针对二进制变量进行最佳决策树生成的实用算法，该算法结合了分析界限和数据结构等现代技术，在可扩展性、速度和最优性方面具有明显优势。

    Apr, 2019

  • 损失最优分类树：一个广义框架和逻辑回归情形

    本研究提出了一个通用框架并构建了一种新型的最优逻辑树模型，该模型采用线性分段逼近法处理逻辑损失，并与 L1 正则项耦合，证明其能够诱导出具有更好可解释性和竞争性推广能力的树状模型，相对于现有的 MIP-based 方法。

    Jun, 2023

  • 一种可扩展的基于 MIP 的学习最优多变量决策树方法

    本文提出了一种新的基于支持向量机和 1 - 范数分多元决策树（ODT）训练的混合整数规划（MIP）公式，利用线性规划（LP）数据选择方法选择数据样本，实现了对大数据集的有效训练，并在包含 245,000 个样本的数据集上验证了该方法优于现有的启发式方法和其他基于 MIP 的技术的效果。

    Nov, 2020

  • 强优化分类树

    该论文提出了一种基于流的 MIO 表达式，以用于学习最优二叉分类决策树，并可容纳相应的边际约束，从而使决策树设计变得透明和公平。作者通过实验证明，其相较同类现有 MIO 方法，在性能和计算速度方面有明显提升。

    Mar, 2021

  • MurTree：使用动态规划和搜索实现的最优分类树

    本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树，这种算法支持对树的深度和节点数量设置限制，并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集，从而极大地提高了最优决策树的实用性。

    Jul, 2020

  • 基于多变量布尔规则的最优分类树 (BooleanOCT)

    全球优化分类树方法通过建立新的混合整数规划方法，在多个线性和非线性指标的综合下，提供了优于传统方法的解析度和普适性。在延展性和实用性测试中，该方法在小型和中型数据集上相较于随机森林取得了显著的精度提升。

    Jan, 2024

  • 最优随机分类树

    本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

    Oct, 2021