联合结构和超参数优化的表格基准测试
提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。
Jun, 2021
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了 HPOBench 基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自 6 种优化工具的 13 种优化器进行了大规模研究验证 HPOBench 的实用性。
Sep, 2021
通过在 16 个数据集上进行全面评估，我们研究了数据集特定的超参数、特征编码和架构调整对于五个最新模型家族在表格数据生成方面的影响。我们提出了一个减少的搜索空间以便进行快速优化，实现了几乎相同性能但显著降低成本。我们的评估表明，对于大多数模型而言，大规模数据集特定调优相比原始配置极大提高了性能。此外，我们证实扩散模型在表格数据上普遍优于其他模型。然而，当所有模型的调优和训练过程都限制在相同的 GPU 预算时，这种优势并不明显。
Jun, 2024
本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。
Sep, 2022
本研究提出了新的高维参数优化方法（LassoBench），并在 Weighted Lasso 压缩感知模型上进行了评估，结果表明贝叶斯优化和进化策略可以改善目前稀疏回归的方法，同时也指出了这些框架在高维和噪声环境下的限制。
Nov, 2021