本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

本研究提出了一种新颖算法 Hyperband，通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。

Mar, 2016

为了缓解深度学习 (HPO) 算法与 DL 研究者之间的不一致，我们提出了一个专门针对 DL 的 HPO 算法 PriorBand，将专家信念和便宜的代理任务结合起来，通过各种 DL 基准测试体现了 PriorBand 的效率和对专家知识的敏感性。

Jun, 2023

本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

May, 2023

介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

Feb, 2022

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

Aug, 2019

DEHB is a new Hyperparameter Optimization method that combines the advantages of Hyperband and Differential Evolution, and achieves strong performance far more robustly on a broad range of HPO problems and tabular benchmarks, especially for high-dimensional problems with discrete input dimensions.

May, 2021

提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

Jun, 2021

本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

Sep, 2019