本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。

Jul, 2017

该研究分析了梯度下降算法，引入了新的弱学习器性能度量，并扩展了 Boosting 方法，以支持任意凸损失函数，并给出了相应的弱到强的收敛结果。

May, 2011

该研究采用函数梯度下降法实现在梯度提升中的个体公平性问题，并证明了该算法在决策树等非平滑模型上的泛化性和有效性。

Mar, 2021

提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

Jun, 2017

本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

Jun, 2015

NGBoost 是一种利用梯度提升用于概率预测的算法，可以通过考虑与目标函数相关的分布的参数并将其视为多参数提升算法的目标来泛化梯度提升以进行概率回归。它可以与任何基本学习器、任何具有连续参数的分布族以及任何得分规则一起使用，具有灵活性、可扩展性和易用性等额外优点。

Oct, 2019

通过利用分布鲁棒优化，我们提出了一个新的公式来学习一组规则集的集合，以在保持计算成本低的同时确保良好的泛化性能，并通过构建一个稀疏的规则集合来解决规则集的稀疏性和预测准确性之间的固有权衡。

Nov, 2023

Wasserstein gradient boosting is a novel ensemble method that uses Wasserstein gradient to approximate a target probability distribution and produce a distributional estimate of the output-distribution parameter, outperforming existing methods in probabilistic prediction.

May, 2024

提出了一种新颖而简单的自适应梯度下降方法，使用当前梯度和新梯度之间的角度代替传统方法中的梯度期望，通过角度历史记录确定更好的自适应学习率，从而比现有的最先进的优化器在大多数数据集上实现更高的准确性，并证明了该方法的收敛性。

Apr, 2023

使用提供偏离随机猜测的分类器的弱学习算法进行优化，无需一阶信息即可学习任意良好模型。通过使用量子微积分等工具，证明了使用任何损失函数进行优化的可行性，从而在经典 0 阶设置中实现了一项前所未有的成就。

Jul, 2024