Nov, 2023

一个用于在大数据集上训练深度分类树的 GPU 加速移动视野算法

PDF
TL;DR引入了一种用于具有连续特征的分类树的移动视距差分进化算法 (MH-DEOCT)，通过在每个节点上迭代训练浅子树来平衡视觉和优化器能力，实验证明其在训练和测试准确性上优于启发式方法 CART 的平均 3.44% 和 1.71%，同时在深树和大规模数据集方面具有显著的可扩展性。
decision treesheuristic methodsmoving-horizon differential evolution algorithmclassification treescontinuous features
发现论文，激发创造
  • MurTree：使用动态规划和搜索实现的最优分类树

    本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树，这种算法支持对树的深度和节点数量设置限制，并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集，从而极大地提高了最优决策树的实用性。

    Jul, 2020

  • HHCART：一种斜切决策树

    本文介绍一种叫做 HHCART 的决策树算法，它利用 Householder matrices 反射训练数据来构建 oblique splits，从而实现数据分类，并且能够同时处理定性和定量特征。

    Apr, 2015

  • 最优随机分类树

    本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

    Oct, 2021

  • 极速决策树

    本研究提出一种新型的增量决策树学习算法，Hoeffding Anytime Tree，与当前最先进的 Hoeffding Tree 相比，具有更高的统计效率。该算法具有极快的决策树生成速度，能够有效应对概念漂移，并在绝大多数 UCI 数据集上取得了显著的预测精度。

    Feb, 2018

  • 使用汤普森抽样在线学习决策树

    决策树在可解释的机器学习中是重要的预测模型，本文介绍了一种新的蒙特卡洛树搜索算法 (TSDT)，在在线环境中通过汤普森抽样来产生最优的决策树，并经过实验证明该算法在几个基准测试中表现优于现有算法，并具有适用于在线环境的实际优势。

    Apr, 2024

  • 通用和可扩展的最优稀疏决策树

    通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

    Jun, 2020

  • AdaBoost.MH 的回归：多类别 Hamming 树

    本文提出了基于 AdaBoost.MH 框架的向量决策树方法，通过使用向量值决策树进行多类边缘优化而不是将多类问题规约为 $K$ 个一对多分类，其中关键要素是由长度为 $K$ 的与标签无关的标量分类器分解出来的与输入无关的向量值决策树桩，在这种方法下，二元分类器可以用于将输入空间分成两个区域，该算法保留了二进制 AdaBoost 的概念优雅性、强大性和计算效率，在实验中与支持向量机和现有最佳的多类提升算法 AOSOLogitBoost 旗鼓相当，而且明显优于其他已知的 AdaBoost.MH 实现。

    Dec, 2013

  • 使用梯度下降学习决策树

    本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

    May, 2023

  • 一种可扩展的基于 MIP 的学习最优多变量决策树方法

    本文提出了一种新的基于支持向量机和 1 - 范数分多元决策树（ODT）训练的混合整数规划（MIP）公式，利用线性规划（LP）数据选择方法选择数据样本，实现了对大数据集的有效训练，并在包含 245,000 个样本的数据集上验证了该方法优于现有的启发式方法和其他基于 MIP 的技术的效果。

    Nov, 2020

  • 决策树高效非贪婪优化

    该论文提出了一种算法，该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数，使用随机梯度下降进行优化，实验结果表明，该算法相比贪心算法在分类任务的表现优秀。

    Nov, 2015