本研究从统计学角度 formalize 了超参数调整问题，提出了基于数据的默认值和量化超参数可调性的一般性措施，并在 OpenML 平台上基于 38 个数据集和 6 个常见机器学习算法进行了大规模基准测试。我们的研究结果提供了超参数默认值，并使用户能够决定是否值得进行耗时的调整策略，专注于最重要的超参数并选择合适的超参数空间进行调整。

Feb, 2018

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

本文提供了一种全面的方法，用于研究超参数调整对 CART，C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明，超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进，在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景，但总体而言，调优技术仅需要很少的迭代就能找到准确的解决方案。此外，所有算法的最佳技术都是 Irace。最后，我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。

Dec, 2018

本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

Aug, 2021

科学和工程中的许多问题都是优化问题，可能需要复杂的优化技术来解决。自然启发算法是一类用于优化的元启发式算法，有些算法或变体通常通过混合来开发。本章重点介绍优化、自然启发算法的概述和混合的作用，并强调算法混合的一些问题。

Aug, 2023

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

May, 2022

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

本文的研究结果表明，Adam 优化器是一种实用的解决方案，尤其在低预算场景中，因为评估不同优化器的性能必须考虑到超参数搜索的计算成本和难度。

Oct, 2019