本文介绍了一种名为 XGBoost 的高可扩展的树提升系统，该系统采用稀疏数据的新型稀疏感知算法和加权分位数草图以实现近似树学习，结合了缓存访问模式、数据压缩和分片等方法，能够在使用远少于现有系统的资源情况下，扩展到数十亿个示例。

Mar, 2016

本文针对一种最先进的预测技术——梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的$L^2$损失惩罚和强凸性论证来实现统计正则化。

Jul, 2017

描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

Oct, 2017

本文介绍了一种新的技术——树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

Nov, 2017

本文研究了三个软件Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM和Catboost的GPU加速性能以及在超参数优化方面的比较，并注意到GBDTs的许多超参数需手动调整或自动优化，以达到最佳预测能力。

Sep, 2018

本文通过优化随机梯度增强（SGB）各节点采样的概率，提出了一种新的迭代加速技术 Minimal Variance Sampling (MVS)。该方法不仅能够减少每次迭代所需样本数，而且还能够显著提高模型的质量，因此提出 MVS 为新的默认选项，用于 CatBoost 这一基于梯度增强的机器学习库中。

Oct, 2019

该论文提出了一种新颖的梯度提升框架，其中浅层神经网络被用作“弱学习器”，该框架考虑了一般的损失函数，并针对分类、回归和排序学习提供了具体的示例。该模型通过完全修正步骤纠正了经典梯度提升决策树贪婪函数逼近的缺陷，并在多个数据集上的三项任务中表现出超越同类方法的结果。本文还进行了削减研究，以探讨每个模型组成部分和模型超参数的影响。

Feb, 2020

提出了一种名为PGBM的新方法，利用决策树的随机叶权重和随机树集更新方程逼近训练集中每个样本的均值和方差，从而实现单一模型预测概率分布，比传统方法速度快且效果更佳。

Jun, 2021

比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

May, 2023

我们提出了广义牛顿法（GeN）——一种基于海森矩阵的方法，适用于任何优化器（如SGD和Adam），并将牛顿-拉弗森法作为一个子案例。我们的方法自动动态地选择加速收敛的学习率，无需进行繁琐的学习率调度。在实践中，我们的方法易于实施，因为它只需要进行附加的前向传递，几乎不会带来计算开销（以训练时间和内存成本计），如果将开销分摊到许多迭代中。我们展示了在语言和视觉任务上的大量实验证明GeN优化器可以与现有技术的性能相匹配，而这些现有技术是通过仔细调整学习率调度器来实现的。代码将在https://github.com/ShiyunXu/AutoGeN发布。

Jul, 2024