Jul, 2017

梯度提升优化

PDF
TL;DR本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。
gradient boostingconvex optimizationdecision treesconvergencerisk functional
发现论文，激发创造
  • 凸优化的广义 Boosting 算法

    该研究分析了梯度下降算法，引入了新的弱学习器性能度量，并扩展了 Boosting 方法，以支持任意凸损失函数，并给出了相应的弱到强的收敛结果。

    May, 2011

  • 在线梯度提升

    本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

    Jun, 2015

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 早期停止的 Boosting 方法：收敛性和一致性

    本文研究了基于一组基函数的线性空间的 boosting 算法的数值收敛性、一致性和统计收敛速率及早停止的策略，展示了理论结果对于提供实际 boosting 应用见解的重要性。

    Aug, 2005

  • 基于最先进的梯度提升算法的分类性能基准测试

    比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

    May, 2023

  • Hyperboost: 通过梯度增强替代模型进行超参数优化

    本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

    Jan, 2021

  • 如何提升任何损失函数

    使用提供偏离随机猜测的分类器的弱学习算法进行优化，无需一阶信息即可学习任意良好模型。通过使用量子微积分等工具，证明了使用任何损失函数进行优化的可行性，从而在经典 0 阶设置中实现了一项前所未有的成就。

    Jul, 2024

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • Boosting 算法：正则化，预测和模型拟合

    本研究从统计学的角度出发，重点讨论了利用 boosting 对复杂的参数模型或非参数模型（包括广义线性模型和加法模型等）进行有效估算的方法，以及在高维空间的正则化和变量选择中使用的信息准则，而 BOOSTING 过程的实际展示是通过开源软件包 mboost 来实现的。

    Apr, 2008

  • 个体公平梯度提升

    该研究采用函数梯度下降法实现在梯度提升中的个体公平性问题，并证明了该算法在决策树等非平滑模型上的泛化性和有效性。

    Mar, 2021