Jul, 2023

SigOpt Mulch: 基于梯度提升树的自动机器学习智能系统

HTML
PDF
TL;DRSigOpt Mulch是一种旨在自动调整GBTs超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地实现了GBTs优秀的超参数识别。
发现论文，激发创造
  • Autotune: 一种无导数优化框架，用于超参数调优

    该论文提出了一种自动化的并行无导数优化框架——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。

    Apr, 2018

  • 分布式模型选择和训练研究平台 Tune

    Tune是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

    Jul, 2018

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM和Catboost的GPU加速性能以及在超参数优化方面的比较，并注意到GBDTs的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • 决策树超参数调整的实证研究

    本文提供了一种全面的方法，用于研究超参数调整对CART，C4.5和CTree三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为C4.5和CTree提供了显著的改进，在大多数数据集中却为CART提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

    Dec, 2018

  • Hyperboost: 通过梯度增强替代模型进行超参数优化

    本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

    Jan, 2021

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和Adaboost分类器是最佳选择的结论。

    Aug, 2021

  • 基于最先进的梯度提升算法的分类性能基准测试

    比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

    May, 2023

  • 随着规模变化调整：用于计算效率训练的超参数优化

    本文提出了一种名为“CARBS”的贝叶斯优化算法，通过在性能成本 Pareto 前沿周围进行本地搜索，解决了大规模深度学习模型参数调优的难题，并自动化了调优的“黑魔法”，可以适用于任何深度学习问题，并发现了发现各种超参数的标度律，使得调优更加高效。

    Jun, 2023

  • 将超参数搜索集成到GramML中

    提出了GramML的扩展方法，支持更大的搜索空间，包括超参数搜索，通过OpenML基准测试发现与其他最新技术相比有显著的改进。

    Apr, 2024

  • 机器学习中的超参数优化

    本研究解决了超参数选择对机器学习算法性能影响的关键问题，特别是在超参数数量较多时手动搜索变得不切实际。论文提出了一种统一的超参数优化方法，总结了自动搜索技术的主要类别，并展示了前沿的研究实例和见解，旨在为未来的研究方向提供指导。

    Oct, 2024