本文提出了一种基于贝叶斯优化的机器学习集成方法,通过优化固定大小组成的集成分类器的每个分类器的超参数配置,考虑了与其他模型的交互作用来评估性能,表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。
May, 2016
通过将贝叶斯神经网络与传统机器学习算法(如随机森林、梯度提升、支持向量机)协同集成的一种新方法,强调了特征集成在优化中的重要性,包括优化的二阶条件,如哈西矩阵的定态性和正定性。与此相反,超参数调整对于改善预期改进(EI (x))的影响有所削弱。总体而言,集成方法作为一种稳健的、算法优化的方法表现出色。
Oct, 2023
通过在模型空间和函数空间之间进行反馈,将模型选择与贝叶斯优化相结合,以更加高效地达到函数的极值,证明收敛性并在实验结果中显示与标准贝叶斯优化相比的显著改进。
Aug, 2023
本文提出了一种基于集成高斯过程模型的贝叶斯优化算法(EBO),以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明,EBO 能在几分钟内扩展到数万次观测,同时取得了前所未有的优化效果。
Jun, 2017
本论文将超参数优化问题建模为一系列决策问题,并用强化学习方法来解决,通过优化选择下一个待优化的超参数,从而提高模型性能。在 50 个数据集上的实验表明,该方法优于目前超参数学习领域的其他方法。
Jun, 2019
模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法,只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中,我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。
Jan, 2024
本研究旨在调查使用 SMBO 策略优化 DCN 网络结构的可能性,通过一组随机初始架构生成新架构,以实现在给定数据集上训练后表现良好的 DCN 架构。 利用该策略,本研究找到了与目前最先进技术结果相当的多种 DCN 架构方案。
Jan, 2015
本文提出一种基于迁移学习的自动超参数优化算法:Transfer Neural Processes (TNP),将历史优化实验的知识转移应用到当前优化任务中,该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。
Sep, 2019
通过多调整技术和组合模型来改进多维输出预测的下游优化问题,提出了两个高效收敛的算法,并在实验中对其性能和行为进行了探索。
May, 2024
本文介绍一种基于协同过滤的自动机器学习方法 OBOE,它可以在时间限制内选择合适的算法和超参数,并在有限数量的模型拟合或总时间预算的约束下找到良好的模型,相比其他竞争方法,OBOE 有更快的处理速度和更好的性能。
Aug, 2018