冻融贝叶斯优化

Jun, 2014

Freeze-Thaw Bayesian Optimization

Kevin Swersky, Jasper Snoek, Ryan Prescott Adams

TL;DR本文介绍一种基于贝叶斯优化的机器学习超参数搜索方法，在训练过程中根据部分信息决定是否暂停、新建模型，以及恢复之前考虑过的模型。该方法特别适合机器学习问题，通过开发一种新的正定协方差核来捕捉多种训练曲线，并开发了一个能够与额外时间观察优雅扩展的高斯过程先验。此外，我们提供了一个信息理论的框架来自动化决策过程。在多种常见的机器学习模型上的实验表明，我们的方法在实践中非常有效。

Abstract

In this paper we develop a dynamic form of bayesian optimization for machine learning models with the goal of rapidly finding good hyperparameter settings. Our method uses the partial information gained during th

bayesian optimization machine learning hyperparameter settings covariance kernel gaussian process

发现论文，激发创造

上下文冷热贝叶斯优化：超参数优化

本文提出了一种名为 FT-PFN 的新型先验数据拟合网络，它利用了 transformer 在上下文学习方面的能力，以单次前向传播的方式高效可靠地进行贝叶斯学习曲线推断。经验证实，FT-PFN 的预测比之前工作中使用的深高斯过程和深度集成模型更准确且速度快 10-100 倍，并结合新颖的采样机制（MFPI-random）应用于深度学习超参数优化任务中，取得了新的同类任务的最好性能。

Apr, 2024

机器学习算法的实用贝叶斯优化

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

大数据集机器学习超参数的快速贝叶斯优化

提出了一种基于生成模型的贝叶斯优化方法，通过学习验证误差关于训练集大小的函数，并在小的子集上进行预先配置的探索，从而加速超参数优化，并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明，该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。

May, 2016

学习 Warm-Start 贝叶斯超参数优化

本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

Oct, 2017

迭代学习的贝叶斯优化

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

贝叶斯优化的实用迁移学习

本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

Feb, 2018

多维参数空间中的最优数据生成，使用贝叶斯优化

利用高斯过程回归和贝叶斯优化方法，我们提出了一种在复杂多维参数空间中构建高效数据库用于训练机器学习模型的新方法，该方法可以在资源有限的情况下提高模型精度并减少数据收集的工作量。

Dec, 2023

贝叶斯优化热启动

本研究提出了利用贝叶斯优化预热的框架，用于减少在解决一系列相关问题中所需的解决时间。该方法可用于优化随机模拟器的输出，而渐变优化方法则无法胜任。我们的方法建立了一个相关目标函数的联合统计模型，并使用信息价值计算来推荐要评估的点。

Aug, 2016

超冷原子实验的快速机器学习在线优化

使用高斯过程的机器学习方法来优化制备玻色 - 爱因斯坦凝聚体的过程，该方法能够 10 倍加快传统优化技术的速度，同时还能够提供关于实验优化的重要参数的洞察。

Jul, 2015

预训练对贝叶斯优化的帮助

研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

Jul, 2022