融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

本文研究不同类型的过滤算法，特别是可微分的过滤算法对于机器人应用中基于状态估计的决策制定和任务执行的优势，并比较了这些不同方法的表现。

Dec, 2020

使用 SSL 技术的基于 Transformer 的神经网络在欺诈检测任务中超越 GBDT 算法，在大规模实验中，预训练的 Transformer 模型在有限的微调数据上表现更加一致且需要较少的标记数据。

May, 2024

描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

Oct, 2017

该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

Jan, 2021

该研究采用函数梯度下降法实现在梯度提升中的个体公平性问题，并证明了该算法在决策树等非平滑模型上的泛化性和有效性。

Mar, 2021

决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

本文介绍了一种新的技术 —— 树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

Nov, 2017

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018