深度排名集合用于超参数优化
本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。
Jan, 2021
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。
Sep, 2022
探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。
Nov, 2023
我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。
Sep, 2023
提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。
Jun, 2021
本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。
Sep, 2019
本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。
May, 2016