GRANDE: 基于梯度的决策树集成

Sep, 2023

GRANDE: Gradient-Based Decision Tree Ensembles

Sascha Marton, Stefan Lüdtke, Christian Bartelt, Heiner Stuckenschmidt

TL;DR本文提出了 GRANDE，一种基于梯度的决策树集成模型，通过端到端梯度下降学习硬性、轴对齐的决策树集成模型。GRANDE 基于树集成的稠密表示，利用直线传播运算符对所有模型参数进行联合优化。通过结合轴对齐分割和基于梯度的优化，我们的方法既具备了适合表格数据的归纳偏好，又具备了优化的灵活性。此外，我们还引入了一种高级的逐实例加权方法，有助于在单个模型中学习简单和复杂的关系。我们在一个预定义的基准测试集上进行了广泛的评估，并且证明我们的方法在大多数数据集上胜过现有的梯度提升和深度学习框架。

Abstract

Despite the success of deep learning for text and image data, tree-based ensemble models are still state-of-the-art for machine learning with heterogeneous tabular data. However, there is a significant need for tabular-

deep learning tree-based ensemble models tabular-specific gradient-based methods decision tree ensembles end-to-end gradient descent

发现论文，激发创造

用于表格数据深度学习的神经无意识决策集合

本文提出了一种新的深度学习架构 Neural Oblivious Decision Ensembles（NODE）用于处理表格数据，并且与目前主要的 GBDT 方案相比，在大量的数据集上展示了超越竞争方案的表现。

Sep, 2019

基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

使用梯度下降学习决策树

本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

May, 2023

使用可微分决策树集成实现灵活建模和多任务学习

我们提出了一种灵活的决策树集成学习框架，支持任意损失函数、缺失响应和多任务学习，采用可微分的树集成训练，并通过张量形式的不同 iable trees 实现了高效的向量化，实验结果表明，我们的框架比流行工具包产生的决策树集成更紧凑，表达力更强。

May, 2022

灌木丛集用于在线分类

本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法，它使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存。实验表明，该方法在资源有限的情况下仍然表现出色。

Dec, 2021

多层梯度提升决策树

提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

May, 2018

利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

加速梯度提升

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018

计算最优树集合

提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

Jun, 2023

深度神经决策树

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018