Feb, 2020

梯度提升神经网络：GrowNet

PDF
TL;DR该论文提出了一种新颖的梯度提升框架，其中浅层神经网络被用作 “弱学习器”，该框架考虑了一般的损失函数，并针对分类、回归和排序学习提供了具体的示例。该模型通过完全修正步骤纠正了经典梯度提升决策树贪婪函数逼近的缺陷，并在多个数据集上的三项任务中表现出超越同类方法的结果。本文还进行了削减研究，以探讨每个模型组成部分和模型超参数的影响。
gradient boostingneural networksloss functionsclassificationregression
发现论文，激发创造
  • 在线梯度提升

    本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

    Jun, 2015

  • 基于残差网络感知的功能性梯度提升

    本文利用函数梯度的概念，采用 ResNet 的梯度提升方法建立了一种名为 ResFGB 的新型分类任务方法，实验结果优于 LightGBM 等现有最先进的方法，具有较强的数据分析能力。

    Feb, 2018

  • 凸优化的广义 Boosting 算法

    该研究分析了梯度下降算法，引入了新的弱学习器性能度量，并扩展了 Boosting 方法，以支持任意凸损失函数，并给出了相应的弱到强的收敛结果。

    May, 2011

  • 分裂增强神经网络

    通过一种创新的训练策略，称为 Split-Boost，提高了前馈神经网络的性能，自动引入正则化行为，减少超参数数量和调优时间，在医疗保险设计问题中得到了验证。

    Sep, 2023

  • 使用正则化的贪心森林学习非线性函数

    通过正则化贪心搜索直接学习决策树的方法可以获得比梯度提升和 Adaboost 更高的精度和更小的模型。

    Sep, 2011

  • 基于 Gradient-Boosting 的结构化和非结构化学习

    提出了两个结构化和非结构化数据都存在的问题的框架，采用梯度提升和深度神经网络相结合，可以提高性能。这些框架在各种数据集上进行了实验，表现优于基线方法 0.1％-4.7％。

    Feb, 2023

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

    决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

    Feb, 2024

  • 一种快速有监督学习的引导算法

    探索一种不依赖于曲线追踪法而是靠新的技术 “分解” 隐藏层和通过引导、重新采样和线性回归来更新它们的加权连接的神经网络训练方式，实验证明这种方法的收敛速度非常快且需要较少数据点。

    May, 2023

  • 梯度提升优化

    本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。

    Jul, 2017