机器学习算法的实用贝叶斯优化

Jun, 2012

Practical Bayesian Optimization of Machine Learning Algorithms

Jasper Snoek, Hugo Larochelle, Ryan P. Adams

TL;DR本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Abstract

machine learning algorithms frequently require careful tuning of model hyperparameters, regularization terms, and optimization parameters. Unfortunately, this tuning is often a "black art" that requires expert experience, unwritten rules of thumb, or sometimes brute-force search. Much

machine learning hyperparameters tuning bayesian optimization gaussian process expert-level performance

发现论文，激发创造

迭代学习的贝叶斯优化

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

预训练对贝叶斯优化的帮助

研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

Jul, 2022

高斯过程和贝叶斯优化在金融应用中的作用

本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

Mar, 2019

预训练高斯过程用于贝叶斯优化

本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

Sep, 2021

贝叶斯优化教程

本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

Jul, 2018

差分隐私贝叶斯优化

研究使用贝叶斯优化调整机器学习模型的超参数，探讨如何在发布最佳超参数和分类器准确度时保护隐私，并使用差分隐私和平滑性保证来对实验结果进行保密。

Jan, 2015

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

贝叶斯优化的实用迁移学习

本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

Feb, 2018

一种统一的高斯过程用于分支和嵌套超参数优化

基于新的高斯过程模型和具有新内核函数的统一贝叶斯优化框架，通过一系列合成模拟和实际数据应用的神经网络，观察到更高的预测准确性和更好的优化效率，并执行敏感性分析以提供有关超参数值变化如何影响预测准确性的见解。

Jan, 2024

正则化无界贝叶斯优化

本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。

Aug, 2015