KDDApr, 2018

Autotune: 一种无导数优化框架，用于超参数调优

PDF
TL;DR该论文提出了一种自动化的并行无导数优化框架 ——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。
发现论文，激发创造
  • HyperTuner: 适用于数据分析服务的跨层多目标超参数自动调整框架

    本文提出 HyperTuner 以实现跨层次多目标超参数自动调整，首先通过其 MOPIR 算法进行多目标参数重要性排名，然后利用 ADUMBO 算法找到帕累托最优配置集，在每个迭代中通过最大化一个新的设计良好的度量选择最有前途的配置。

    Apr, 2023

  • 分布式模型选择和训练研究平台 Tune

    Tune 是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

    Jul, 2018

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

    Aug, 2021

  • 黑盒函数的逐步优化

    本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

    Jun, 2019

  • 层次协作超参数调整

    本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

    May, 2022

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • DP-HyPO：自适应私有超参数优化框架

    DP-HyPO 是一种桥接私人和非私人超参数优化方法的里程碑式框架，并提供了具有全面差分隐私分析的高效性。

    Jun, 2023

  • 基于代理的协作随机搜索用于超参数调优和全局函数优化

    本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。

    Mar, 2023

  • 机器学习算法的超参数调整重要性

    本研究从统计学角度 formalize 了超参数调整问题，提出了基于数据的默认值和量化超参数可调性的一般性措施，并在 OpenML 平台上基于 38 个数据集和 6 个常见机器学习算法进行了大规模基准测试。我们的研究结果提供了超参数默认值，并使用户能够决定是否值得进行耗时的调整策略，专注于最重要的超参数并选择合适的超参数空间进行调整。

    Feb, 2018

  • 机器学习算法超参数优化：理论与实践

    本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

    Jul, 2020