决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

Oct, 2017

该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

Jan, 2021

探索基于不可微分模块建立深度模型的可能性，提出了树集成方法 gcForest。实验表明，该方法具有很强的鲁棒性，在大多数情况下，即使在不同领域的不同数据中，使用相同的默认设置也能获得出色的性能。

Feb, 2017

本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

May, 2023

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018

融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

提出了一种神经决策树 (NDT) 的建议架构，其将神经网络和决策树相融合，同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器，具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点，在有监督、半监督和无监督学习任务上的实验结果证明其优越性。

Feb, 2017

研究一种学习针对回归问题的可解释表示的方法，将特征表示为由神经网络中常用的激活函数和其他基本函数组成的多类型表达树的网络。通过梯度下降来训练可微分特征，并利用特征在线性模型中的性能来加权每个表示子组件的变化率。该方法可以产生比梯度提升更小、在 100 个开源回归问题上的平均测试得分更高的表示。

Jul, 2018