本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

本研究从统计学角度 formalize 了超参数调整问题，提出了基于数据的默认值和量化超参数可调性的一般性措施，并在 OpenML 平台上基于 38 个数据集和 6 个常见机器学习算法进行了大规模基准测试。我们的研究结果提供了超参数默认值，并使用户能够决定是否值得进行耗时的调整策略，专注于最重要的超参数并选择合适的超参数空间进行调整。

Feb, 2018

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

Aug, 2021

通过在许多数据集上进行元学习，本文提出了一种基于元分析进行自动超参数重要性分析和先验推导的方法，并将其应用于支持向量机、随机森林和 Adaboost 算法中，得到的结果可在手动算法设计和自动超参数优化方面提供数量基础。

Oct, 2017

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

本文提出了一种算法来优化连续超参数，该方法可以在模型参数完全收敛之前更新超参数，具有全局收敛的充分条件，并在 L2 正则化逻辑回归和核岭回归的正则化常数估计上验证了实证表现。

Feb, 2016

本研究回顾了机器学习中优化方法的原则、进展和应用，总结了在一些流行的机器学习领域中优化方法的应用和发展，并提出了机器学习中优化的一些挑战和未解决的问题。

Jun, 2019

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012