通过进行大规模的 1,500 个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的 AutoML 任务的基本理解。

Nov, 2023

本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

Jul, 2021

提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

Jun, 2021

基于偏置记录数据准确估计反事实政策效果的评估在许多情况下不仅用于评估决策政策的价值，还用于搜索大候选空间中的最佳超参数。本研究探讨了离策略学习中的超参数优化任务，并提出了简单而高效的校正方法来解决相关问题。实证调查证明了我们提出的超参数优化算法在典型流程严重失败的情况下的有效性。

Apr, 2024

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。

Sep, 2023

提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

May, 2019

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

调研中发现多样性 MF-HPO 基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性 MF-HPO 方法的基准测试结果需要延长计算时间。

Jul, 2023

本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

Aug, 2019