Jul, 2023

SigOpt Mulch: 基于梯度提升树的自动机器学习智能系统

PDF
TL;DRSigOpt Mulch 是一种旨在自动调整 GBTs 超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地实现了 GBTs 优秀的超参数识别。
gradient boosted treeshyperparameter tuningmodel-awaremetalearningmultifidelity optimization
发现论文，激发创造
  • Hyperboost: 通过梯度增强替代模型进行超参数优化

    本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

    Jan, 2021

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 基于提示的黑盒调参：从三个正交视角提高模型的泛化能力

    本文提出 BBT-RGB, 一套用于提高黑盒优化效率和性能的简单而相辅相成的技术。我们的实验结果表明，该方法在各种自然语言理解和推理任务中具有很好的有效性。

    May, 2023

  • 自动梯度提升

    本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost)，与目前的 AutoML 项目进行了比较，并在 16 个数据集上取得了可比较的结果和两个最佳表现。

    Jul, 2018

  • 全局优化：机器学习方法

    通过使用基于超平面的决策树将非线性约束进行建模，并利用这些树构建原问题的统一混合整数优化（MIO）近似，本研究提出了扩展解决方案，包括使用其他可转化为 MIO 的机器学习模型（如梯度提升树、多层感知器和支持向量机）逼近原问题，提出自适应采样方法以获得更准确的基于机器学习的约束近似，利用鲁棒优化来考虑样本依赖性训练的不确定性，并利用一组松弛方法来处理最终的 MIO 近似的不可行性。然后我们在 81 个全局优化实例中测试了增强的框架，并展示了大多数实例中解的可行性和最优性的改进。我们还与 BARON 进行了比较，在 11 个实例中显示了更好的最优间隙或解决时间。

    Nov, 2023

  • 黑盒函数的逐步优化

    本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

    Jun, 2019

  • 混合特征空间已知约束条件下的贝叶斯优化树集成核函数

    本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

    Jul, 2022

  • （多任务）梯度提升树的可扩展特征选择

    本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

    Sep, 2021

  • AutoxgboostMC 的多目标自动机器学习

    提出了一种多准则的 AutoML 系统，优化了用户定义的辅助标准，以引导搜索达到最佳的机器学习流程，以此来满足人工智能应用中不同的需求。

    Aug, 2019