本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。

Jul, 2017

本文研究了基于一组基函数的线性空间的 boosting 算法的数值收敛性、一致性和统计收敛速率及早停止的策略，展示了理论结果对于提供实际 boosting 应用见解的重要性。

Aug, 2005

本文提出 LambdaOpt，一种自动优化正则化参数的超参数优化方法，并将其应用于代表推荐模型的矩阵分解，证明了其在提高 top-K 推荐性能方面的优越性。

May, 2019

本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

Jan, 2021

NGBoost 是一种利用梯度提升用于概率预测的算法，可以通过考虑与目标函数相关的分布的参数并将其视为多参数提升算法的目标来泛化梯度提升以进行概率回归。它可以与任何基本学习器、任何具有连续参数的分布族以及任何得分规则一起使用，具有灵活性、可扩展性和易用性等额外优点。

Oct, 2019

本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

Jun, 2015

本文研究解释性提升算法和基于岭正则化广义线性模型的应用，帮助分析高维环境数据，通过智利和突尼斯农民的环境、社会、人类和生物物理数据进行预测他们在气候灾害中的财务脆弱性，使用新的 2 步提升方法在高维数据集中处理组结构和交互作用，并显示了该方法的优点和功效。结果表明，仅在两步提升中包含交互效应会提高预测能力。在预测各种类型的脆弱性中，最重要的变量是自然资产，其他重要变量包括灌溉类型、经济资产和附近农场的作物损伤情况。

May, 2023

本文提出了一种新方法，双重机器学习 (Double ML)，用于解决因变量的原因关系，利用多种主要和辅助机器学习预测模型解决辅助和主关键参数预测，通过 K 折采样交叉拟合解决过拟合问题。

Jul, 2016

用多元线性回归模型对未知回归系数矩阵作出推论的 Bootstrap 技术，包括真实数据实例和两个模拟数据实例的验证。

Apr, 2017

本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost)，与目前的 AutoML 项目进行了比较，并在 16 个数据集上取得了可比较的结果和两个最佳表现。

Jul, 2018