树形提升：梯度提升树桩和完整决策树之间的联系

NIPSNov, 2017

树形提升：梯度提升树桩和完整决策树之间的联系

Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees

José Marcio Luna, Eric Eaton, Lyle H. Ungar, Eric Diffenderfer, Shane T. Jensen...

TL;DR本文介绍了一种新的技术 —— 树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

Abstract

Additive models, such as produced by gradient boosting, and full interaction models, such as classification and regression trees (CART), are widely used algorithms that have been investigated largely in isolation

gradient boosting classification and regression trees tree-structured boosting model interpretability predictive performance

发现论文，激发创造

紧凑的多类别提升树

描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

Oct, 2017

CART 稀疏学习

本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

Jun, 2020

最优随机分类树

本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

Oct, 2021

适应平滑性和稀疏性的贝叶斯回归树集成

使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并在基准数据集上表现出良好的性能。

Jul, 2017

基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

多层梯度提升决策树

提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

May, 2018

基于 Gradient-Boosting 的结构化和非结构化学习

提出了两个结构化和非结构化数据都存在的问题的框架，采用梯度提升和深度神经网络相结合，可以提高性能。这些框架在各种数据集上进行了实验，表现优于基线方法 0.1％-4.7％。

Feb, 2023

扩散增强树

融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

树形空间原型：再探树集成的可解释性

提出了通过表现每个类别的代表点 - 原型来解释树模型集合分类器的方法，并通过应用新的距离和自适应原型选择方法，在随机森林和梯度提升树上演示了原型的可行性，其在人类用户的研究中表现良好，并为决策树模型的解释提供了可行的替代方案。

Nov, 2016

加速梯度提升

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018