Oct, 2018

CatBoost：支持分类特征的梯度提升

PDF
TL;DR本文介绍了一种新的机器学习技术 ——CatBoost，它可以成功地处理分类特征，成为了一个开源梯度提升库， 在一系列的数据集上表现出了优秀的性能，并且使用 GPU 实现了学习算法和 CPU 实现了评估算法，比其他相似规模的梯度提升库更快。
catboostgradient boostingcategorical featuresmachine learninggpu implementation
发现论文，激发创造
  • 基于最先进的梯度提升算法的分类性能基准测试

    比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

    May, 2023

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • 自动梯度提升

    本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost)，与目前的 AutoML 项目进行了比较，并在 16 个数据集上取得了可比较的结果和两个最佳表现。

    Jul, 2018

  • 紧凑的多类别提升树

    描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

    Oct, 2017

  • 多个连续和分类输入上的贝叶斯优化

    提出了一种基于混合类型空间的新方法 CoCaBO，它结合了多臂赌博机和贝叶斯优化的优点，使用高斯过程核来对包含连续和分类输入的黑盒问题进行优化，实现了在探索和开发之间的平衡，并在连续和分类输入的合成和实际优化任务上超越了现有方法。

    Jun, 2019

  • 高基数类别变量数据的机器学习方法比较

    本研究比较了在具有高基数分类变量的多种表格数据集上，随机效应的机器学习模型与其经典模型之间的预测精度，发现使用随机效应的决策树提升模型优于使用随机效应的深度神经网络模型。

    Jul, 2023

  • 梯度提升特征选择

    本研究提出了一种名为梯度提升特征选择 (GBFS) 的新型特征选择算法，该算法可可靠地提取相关特征，能够识别非线性特征相互作用，与特征和维度的数量线性缩放，并允许纳入已知的稀疏结构，并在多个真实世界的数据集上进行了评估，表现出强大的性能，比其他现有的特征选择算法具有更好的扩展性和适应性。

    Jan, 2019

  • CatBoost、XGBoost 和 LightGBM 的比较：为零膨胀保险赔案数据开发增强型预测模型

    本文利用提升算法处理保险索赔数据，包括零膨胀遥测数据，以构建索赔频率模型，并评估和比较了三种流行的梯度提升库 - XGBoost，LightGBM 和 CatBoost，旨在确定最适合训练保险索赔数据和拟合精算频率模型的库。本研究发现，CatBoost 在开发基于预测绩效的自动索赔频率模型方面表现优异，并进一步探讨了在使用遥测数据时不同风险特征对频率模型的影响和交互作用。

    Jul, 2023

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 梯度提升优化

    本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。

    Jul, 2017