Nov, 2020

一种可扩展的基于 MIP 的学习最优多变量决策树方法

PDF
TL;DR本文提出了一种新的基于支持向量机和 1 - 范数分多元决策树（ODT）训练的混合整数规划（MIP）公式，利用线性规划（LP）数据选择方法选择数据样本，实现了对大数据集的有效训练，并在包含 245,000 个样本的数据集上验证了该方法优于现有的启发式方法和其他基于 MIP 的技术的效果。
发现论文，激发创造
  • 强优化分类树

    该论文提出了一种基于流的 MIO 表达式，以用于学习最优二叉分类决策树，并可容纳相应的边际约束，从而使决策树设计变得透明和公平。作者通过实验证明，其相较同类现有 MIO 方法，在性能和计算速度方面有明显提升。

    Mar, 2021

  • 基于整数规划的最优广义决策树

    本文提出了一种混合整数规划的方法来构建特定大小的最优决策树，采用特殊结构的分类特征，考虑每个节点上基于特征子集的组合决策，并通过阈值处理处理数值特征，证明了在中等规模的训练集下，采用小型决策树可获得很高的准确率，我们使用现代求解器解决所提出的优化问题。

    Dec, 2016

  • 基于多变量布尔规则的最优分类树 (BooleanOCT)

    全球优化分类树方法通过建立新的混合整数规划方法，在多个线性和非线性指标的综合下，提供了优于传统方法的解析度和普适性。在延展性和实用性测试中，该方法在小型和中型数据集上相较于随机森林取得了显著的精度提升。

    Jan, 2024

  • 基于整数规划的算法选择问题的最优决策树

    本文提出了基于整数规划的方法来构建用于算法选择问题的决策树，并使用 COIN-OR Branch & Cut solver 实现的线性规划算法进行了实验。实验结果表明，该方法具有很好的泛化性能且未过度拟合。

    Jul, 2019

  • 学习最优分类树：强大的最大流量公式

    该研究提出了一种基于流的 MIP 公式，利用 Bender's 分解方法解决最优二元分类树问题，该方法比现有的 MIP 技术快 50 倍，并在标准基准数据集上将预测精度提高多达 13.8%。

    Feb, 2020

  • 马尔可夫决策过程的最优决策树策略

    本文提出了一种优化方法，通过线性规划直接优化有限深度的决策树，使其在马尔科夫决策过程中达到最优性能，可用于解决强化学习策略可解释性的问题。通过实验证明，这种方法在性能和可解释性之间取得了平衡。

    Jan, 2023

  • 混合整数规划作为一层

    该研究介绍了一种新的决策集中学习方法，可以优化预测模型，支持将问题编码为混合整数线性规划，并使用割平面算法求解。实验结果表明，该方法在多个实际领域中的性能优于现有方法。

    Jul, 2019

  • 通用和可扩展的最优稀疏决策树

    通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

    Jun, 2020

  • MurTree：使用动态规划和搜索实现的最优分类树

    本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树，这种算法支持对树的深度和节点数量设置限制，并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集，从而极大地提高了最优决策树的实用性。

    Jul, 2020

  • 损失最优分类树：一个广义框架和逻辑回归情形

    本研究提出了一个通用框架并构建了一种新型的最优逻辑树模型，该模型采用线性分段逼近法处理逻辑损失，并与 L1 正则项耦合，证明其能够诱导出具有更好可解释性和竞争性推广能力的树状模型，相对于现有的 MIP-based 方法。

    Jun, 2023