为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。
May, 2019
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
本文研究贝叶斯优化在超参数优化中的应用，发现优化BO的超参数可以提高BO方法在各种基准测试中的的表现，优化后的BO调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的BO超参数。
Aug, 2019
本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的OpenML数据集和三个计算机视觉数据集上实现了前沿性能。
Sep, 2019
研究使用低计算成本自动选择学习器和超参数的问题，FLAML是一个快速而轻量级的库，它能够根据给定的训练数据集和误差指标来优化计算资源的使用，同时在多个方面对试验成本和模型误差进行了研究并提出了设计指南，并整合了多种简单而有效的搜索策略，在相同或更少的预算限制下在大型开源AutoML基准测试中显著优于排名前列的AutoML库。
Nov, 2019
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。
Sep, 2021
通过进行大规模的1,500个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的AutoML任务的基本理解。
Nov, 2023
深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的Python包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待，实现了比传统方法快1000倍以上的加速。
Mar, 2024