可传递的神经过程用于超参数优化
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究:关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
本文介绍了自动超参数优化方法,并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项,并提供了具体实现方案及软件包信息,使得机器学习算法的配置能力更为高效地进行。
Jul, 2021
利用大型语言模型(LLMs)进行自动超参数优化的 AgentHPO 具有较高效率、简化设置过程、增强可解释性和用户信任度,并在性能上超越了人类试验,同时提供可解释的结果。
Feb, 2024
本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法,具有更好的超体积指标表现,并考虑到模型评估的不确定性。
Sep, 2022
本文研究贝叶斯优化在超参数优化中的应用,发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现,优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性,并指出了最重要的 BO 超参数。
Aug, 2019
使用基于广义加法模型(GAM)替代与同伦优化结合的数据驱动方法,我们提出了一种新的超参数优化方法 HomOpt,以提高现有方法在连续、离散和分类域空间上的性能和效果,并在多个优化技术(如随机搜索、TPE、贝叶斯和 SMAC)应用 HomOpt,展示了对许多标准机器学习基准和具有挑战性的开集识别任务的改进性能。
Aug, 2023
本文提出一种有序转移超参数优化 (OTHPO) 的方法,用于超参数优化的转移学习,其中任务遵循顺序顺序。通过在共计十个样本上进行的实验表明,该方法优于现有方法,我们开源数据集以促进有关有序超参数优化的未来研究。
Jun, 2023
提出了一个新的基准 HPO-B,该基准从 OpenML 存储库中组装和预处理,由 176 个搜索空间和 196 个数据集组成,旨在解决机器学习中的超参数优化问题,并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。
Jun, 2021