OptFormer实现的自动化超参数多步优化
该论文提出了一种自动化的并行无导数优化框架——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。
Apr, 2018
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的OpenML数据集和三个计算机视觉数据集上实现了前沿性能。
Sep, 2019
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。
Sep, 2021
介绍了一种名为DyHPO的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过50个数据集和各种神经网络的大规模实验，我们证明了DyHPO比最先进的超参数优化基线具有显着的优越性。
Feb, 2022
本文介绍了OptFormer，它是第一个基于文本的Transformer HPO框架，可以在从Google的Vizier数据库等多种调整数据中训练，以提供学习策略和功能预测的通用端到端接口。OptFormer能同时模拟至少7种不同的HPO算法，可以通过其函数不确定性估计进一步改进，并学习到对超参数响应函数的强健先验分布，可以提供更准确和更好的校准预测，这项工作为训练基于Transformer模型作为通用HPO优化器的未来扩展铺平了道路。
May, 2022
我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在ML环境影响评估中验证了该方法的有效性。
Sep, 2023
利用大型语言模型（LLMs）进行自动超参数优化的AgentHPO具有较高效率、简化设置过程、增强可解释性和用户信任度，并在性能上超越了人类试验，同时提供可解释的结果。
Feb, 2024