紧凑的多类别提升树

Oct, 2017

Compact Multi-Class Boosted Trees

Natalia Ponomareva, Thomas Colthurst, Gilbert Hendry, Salem Haykal, Soroush Radpour

TL;DR描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

Abstract

gradient boosted decision trees are a popular machine learning technique, in part because of their ability to give good accuracy with small models. We describe two extensions to the standard tree boosting algorit

gradient boosted decision trees vector-valued trees multiclass classifiers layer-by-layer boosting small models

发现论文，激发创造

TF Boosted Trees：一种基于 TensorFlow 的可伸缩梯度提升框架

TF Boosted Trees 是一种基于 TensorFlow 的新型开源框架，用于分布式训练梯度提升树，其特点包括新颖的架构、自动损失分化、逐层提升、多类别处理和各种规范化技术等。

Oct, 2017

多层梯度提升决策树

提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

May, 2018

树形提升：梯度提升树桩和完整决策树之间的联系

本文介绍了一种新的技术 —— 树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

Nov, 2017

加速梯度提升

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018

利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

扩散增强树

融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

区块分布式梯度提升树

提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成本的多个数量级降低，同时不损失准确性。

Apr, 2019

梯度提升决策树算法的基准测试和优化

本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

Sep, 2018

基于最先进的梯度提升算法的分类性能基准测试

比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

May, 2023