BOHB：强大且高效的大规模超参数优化

ICMLJul, 2018

BOHB：强大且高效的大规模超参数优化

BOHB: Robust and Efficient Hyperparameter Optimization at Scale

Stefan Falkner, Aaron Klein, Frank Hutter

TL;DR本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

Abstract

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally i

deep learning hyperparameter optimization bayesian optimization bandit-based methods neural networks

发现论文，激发创造

Hyperband: 一种基于贝叶斯加权混合的超参数优化方法

本研究提出了一种新颖算法 Hyperband，通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。

Mar, 2016

迭代学习的贝叶斯优化

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

大数据集机器学习超参数的快速贝叶斯优化

提出了一种基于生成模型的贝叶斯优化方法，通过学习验证误差关于训练集大小的函数，并在小的子集上进行预先配置的探索，从而加速超参数优化，并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明，该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。

May, 2016

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

超参数优化：一种光谱方法

本文介绍一种基于布尔函数分析技术的超参数优化方法，应用于高维数据的神经网络训练，并借鉴压缩感知技术，仅需要均匀取样即可迭代并行计算，故速度极快。在实验中，相较于目前最好的工具，此方法能够将解决方案有效提高，且总运行时间比其他方法更快。同时，该方法具有可证明的保证且对于决策树学习具有重要意义。

Jun, 2017

基于种群的赌博机在线超参数优化的可证明有效性

本论文提出了 Population-Based Bandits (PB2) 这一算法，采用概率模型来更高效地搜索超参数配置，从而在计算资源有限的情况下发现高性能的超参数配置。在一系列强化学习实验中，证明了 PB2 可以在适度的计算预算下实现高性能。

Feb, 2020

FlexHB: 一个更高效和灵活的超参数优化框架

通过将 Bayesian Optimization 与 FlexHB 相结合，并重新设计 Successive Halving 的 early stopping 框架，提高了多信度 BO 搜索最优配置的效率，获得了超过其他方法的速度提升。

Feb, 2024

BOAH: 多保真贝叶斯优化和超参数分析工具套件

本文介绍了 Python 编写的综合工具套件，用于有效的多保真贝叶斯优化和其运行分析，以解决黑盒贝叶斯优化中因每个模型的训练和评估需要数小时而导致的问题。

Aug, 2019

使用确定性 RBF 替代模型高效优化深度学习算法的超参数

本研究提出了一种新的确定性和高效的超参数优化方法，该方法采用径向基函数作为误差代理，通过动态坐标搜索来搜索最有前途的超参数值，并且需要更少的函数评估，从而在 MNIST 和 CIFAR-10 数据集的四个深度神经网络上取得了极好的表现，平均而言，HORD 比 GP-EI 获得 19 个超参数的最佳配置要快 6 倍以上。

Jul, 2016