KDDMay, 2022

使用可微分决策树集成实现灵活建模和多任务学习

PDF
TL;DR我们提出了一种灵活的决策树集成学习框架，支持任意损失函数、缺失响应和多任务学习，采用可微分的树集成训练，并通过张量形式的不同 iable trees 实现了高效的向量化，实验结果表明，我们的框架比流行工具包产生的决策树集成更紧凑，表达力更强。
decision tree ensemblesflexible frameworkdifferentiable treesmulti-task learningvectorization
发现论文，激发创造
  • 树集成层：可分性遇上条件计算

    本研究旨在将不同 iable decision trees 融合到神经网络中，以提高训练效率和 CNNs 测试准确率的性能。通过引入新型的稀疏激活函数和专门化算法实现条件计算，证明本文方法与现有方法相比，训练速度提高了十倍以上，参数个数降低到现有梯度增强树的 20 倍以下，并在 CIFAR、MNIST 和 Fashion MNIST 数据集中得出证据。

    Feb, 2020

  • 混合特征空间已知约束条件下的贝叶斯优化树集成核函数

    本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

    Jul, 2022

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • 无限树集合的神经切向核视角

    本文介绍和研究了无限软树集成中的树神经切线核（Tree Neural Tangent Kernel, TNTK），证明了全局收敛以及树结构的等价性，通过调整树的深度诱使 TNTK 降为退化核。

    Sep, 2021

  • GRANDE: 基于梯度的决策树集成

    本文提出了 GRANDE，一种基于梯度的决策树集成模型，通过端到端梯度下降学习硬性、轴对齐的决策树集成模型。GRANDE 基于树集成的稠密表示，利用直线传播运算符对所有模型参数进行联合优化。通过结合轴对齐分割和基于梯度的优化，我们的方法既具备了适合表格数据的归纳偏好，又具备了优化的灵活性。此外，我们还引入了一种高级的逐实例加权方法，有助于在单个模型中学习简单和复杂的关系。我们在一个预定义的基准测试集上进行了广泛的评估，并且证明我们的方法在大多数数据集上胜过现有的梯度提升和深度学习框架。

    Sep, 2023

  • Treant: 训练逃避感知的决策树

    本文提出一种基于威胁模型的决策树学习算法 Treant，通过采用坚固分裂和攻击鲁棒性等两种技术手段，使得学习过程更为完整、高效，有效提高抗攻击性能。

    Jul, 2019

  • 灌木丛集用于在线分类

    本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法，它使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存。实验表明，该方法在资源有限的情况下仍然表现出色。

    Dec, 2021

  • 紧凑的多类别提升树

    描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

    Oct, 2017

  • 基于 Tree 集成的灵活可优化反事实解释解释（FOCUS）

    为了解决机器学习模型的可解释性问题，本研究提出了一种基于梯度优化和概率模型逼近的反事实解释方法，可以适用于不可微模型如树模型，并且该方法得出的反事实案例要优于其他针对树模型的反事实方法。

    Nov, 2019

  • 一种用于学习瘦树的端到端特征选择方法

    通过同时进行特征选择和树集成学习的方法，我们提出了 Skinny Trees 工具包，利用 Group l0-l2 正则化及变分树的不断优化方法，实现了高效的特征选择和树集成学习，并在性能上超越了现有工具包 LightGBM 和 Random Forests。

    Oct, 2023