May, 2023

基于最先进的梯度提升算法的分类性能基准测试

HTML
PDF
TL;DR比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。
发现论文，激发创造
  • 解释AdaBoost和随机森林作为插值分类器的成功

    本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理，即它们都能产生类似的“尖峰平缓”的分类器，且并不需要规则化或早期停止。

    Apr, 2015

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和Nesterov加速下降的新算法AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM和Catboost的GPU加速性能以及在超参数优化方面的比较，并注意到GBDTs的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • Hyperboost: 通过梯度增强替代模型进行超参数优化

    本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

    Jan, 2021

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和Adaboost分类器是最佳选择的结论。

    Aug, 2021

  • 基于无偏特征重要性的无偏梯度提升决策树

    本文研究了Gradient Boosting Decision Tree模型中的split finding algorithm偏差问题，提出了新的无偏gain量度方法并在UnbiasedGBM模型中应用，实验结果表明UnbiasedGBM在60个数据集上表现更好，无偏gain在特征选择上也较其他方法表现更好。

    May, 2023

  • SigOpt Mulch: 基于梯度提升树的自动机器学习智能系统

    SigOpt Mulch是一种旨在自动调整GBTs超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地实现了GBTs优秀的超参数识别。

    Jul, 2023

  • 鲁棒-GBDT: 一种新的梯度提升模型用于噪声鲁棒分类

    该研究介绍了一种名为Robust-GBDT的噪声鲁棒增强模型，该模型在多类分类任务中应用广泛，通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数，有效抵抗标签噪声和类别不平衡，提高了分类准确性和泛化能力。

    Oct, 2023

  • 超参数调优方法的比较研究

    本研究针对超参数优化的复杂性，探讨了平衡偏差和方差的挑战。通过实证分析，评估了三种超参数调优算法，发现非线性模型在适当调优的情况下显著优于线性模型。研究表明，不同算法在各任务和模型类型下表现各异，因此选择合适的调优方法至关重要。

    Aug, 2024

  • 理解梯度提升分类器：训练、预测与$γ_j$的角色

    本研究解决了梯度提升分类器（GBC）在训练和预测过程中的具体问题，特别是终端节点值$γ_j$的计算。通过泰勒级数近似，我们提出了一种新方法来优化逻辑损失函数，并提供了算法实现的详细伪代码。这项工作展示了GBC在二分类任务中的有效性，具有重要的应用价值。

    Oct, 2024