提出了一种基于生成模型的贝叶斯优化方法,通过学习验证误差关于训练集大小的函数,并在小的子集上进行预先配置的探索,从而加速超参数优化,并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明,该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。
May, 2016
本文提出了一种基于贝叶斯优化的方法,该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中,我们的算法通过选择最佳超参数的方式,以最小时间成本实现了调优。
Sep, 2019
本研究基于贝叶斯优化框架,建立高斯过程模型,通过前期实验获得的信息来优化机器学习算法的超参数调整,作者提出可以超过经验人类调参表现的自动算法,并介绍收集实验信息、利用多核心并行实验等新算法。
Jun, 2012
本文提出一种自动设计 BO 搜索空间的方法,通过以前黑盒函数的评估结果,学习搜索空间几何形态,使传统的 BO 方法具有迁移学习属性,加速了各种黑盒优化问题的优化过程,结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。
本文提出了一种基于代理的协作技术,以找到任意一组超参数(或决策变量)的近似最优值,其设计了分布式搜索操作的分层代理架构,使用基于自适应宽度的随机采样技术进行合作搜索,并在机器学习和全局函数优化应用中,通过与两种常用随机调整策略的比较得出,该模型在多维度和设备资源有限的情况下优于其他方法。
Mar, 2023
本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化,并证明了与传统方法相比,该模型可以有效降低超参数优化时间并实现迁移学习。
Feb, 2018
本研究提出了一种元模型方法,支持自动化超参数优化,以取代手动调试,实现易复制和公正的优化过程,并在三个不同的计算机视觉问题上获得了最新的结果。
Sep, 2012
本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见,强调了评估无导数优化器以调整机器学习模型的超参数的重要性,并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。
Apr, 2021
本文提出了一种元学习方法,利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化,该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数,能够在监督分类数据集上高效地搜索预定义的候选管道,实验结果表明,该方法在一系列测试数据集上能够快速确定高性能的机器学习管道,并胜过基线方法。
Apr, 2019
本文提出了一种基于贝叶斯优化的机器学习集成方法,通过优化固定大小组成的集成分类器的每个分类器的超参数配置,考虑了与其他模型的交互作用来评估性能,表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。