May, 2021

DEHB: 可扩展、鲁棒和高效的超参数优化进化 Hyperband

PDF
TL;DRDEHB is a new Hyperparameter Optimization method that combines the advantages of Hyperband and Differential Evolution, and achieves strong performance far more robustly on a broad range of HPO problems and tabular benchmarks, especially for high-dimensional problems with discrete input dimensions.
hyperparameter optimizationmachine learning algorithmsdifferential evolutionneural architecture searchdehb
发现论文，激发创造
  • 基于进化的超带宽算法用于多目标优化

    本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

    May, 2023

  • FlexHB: 一个更高效和灵活的超参数优化框架

    通过将 Bayesian Optimization 与 FlexHB 相结合，并重新设计 Successive Halving 的 early stopping 框架，提高了多信度 BO 搜索最优配置的效率，获得了超过其他方法的速度提升。

    Feb, 2024

  • 迭代加深超带

    本文提出了超频参数 Hyperband 的增量变体，以消除选择过小的大预算所引起的昂贵成本和有价值已积累知识的流失问题，并在基准数据集实验中展示了它们的实用性和理论保证的类似性。

    Feb, 2023

  • BOHB：强大且高效的大规模超参数优化

    本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

    Jul, 2018

  • MFES-HB：多保真度质量度量的高效 Hyperband

    MFES-HB 是一种高效的超参数优化方法，它结合了高保真度和低保真度度量以加快收敛速度，并使用广义专家乘积框架构建了多重保真度集合代理模型，该方法可在现实世界的自动机器学习任务中比 BOHB 等现有方法快 3.3-8.9 倍。

    Dec, 2020

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • Hyperband: 一种基于贝叶斯加权混合的超参数优化方法

    本研究提出了一种新颖算法 Hyperband，通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。

    Mar, 2016

  • 基于灰盒动态优化的深度学习超参数高效优化

    介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

    Feb, 2022

  • PriorBand: 深度学习时代的实用超参数优化

    为了缓解深度学习 (HPO) 算法与 DL 研究者之间的不一致，我们提出了一个专门针对 DL 的 HPO 算法 PriorBand，将专家信念和便宜的代理任务结合起来，通过各种 DL 基准测试体现了 PriorBand 的效率和对专家知识的敏感性。

    Jun, 2023

  • HPO-B: 基于 OpenML 的黑盒超参数优化大规模可复现基准测试

    提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

    Jun, 2021