本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

Sep, 2021

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

本论文介绍了一种在异构领域中进行模型预训练的方法 MPHD，该方法使用神经网络映射将领域特定上下文映射到层级高斯过程的规范，以便与 BO 集成以在异构搜索空间中进行知识转移，并通过理论和实证结果证明了 MPHD 的有效性和优越的黑盒函数优化性能。

Sep, 2023

本文提出了一种简单的方法来预训练一个代理模型，该模型是一个高斯过程，其核函数定义在从先前任务得到的深度特征学习的变压器编码器的数据集上，用于解决可能具有异构输入空间的先前任务。此外，我们还提供了一种简单而有效的混合初始化策略，用于未见过的输入变量对应的输入标记，从而加速新任务的收敛。对合成和真实基准问题的实验表明，我们提出的预训练和迁移 BO 策略相比现有方法更加有效。

Aug, 2023

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

使用转移学习方法的贝叶斯优化，不再需要任务间有相似最优输入的强假设，而是只需假设优化空间的形状相似，通过学习高斯过程代理模型的超参数先验，能更好地逼近潜在函数，特别是对于少量函数评估。我们通过使用合成数据和最近的一个空气污染优化问题作为基准，验证了学到的先验模型，并与多种转移学习方法进行了比较，结果显示 PLeBO 和先验转移方法在较少的评估次数中找到了好的输入。

Nov, 2023

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

本文提出了一种利用先前知识预测优化函数最优解的方法，在高概率区域扩展搜索空间，低概率区域收缩搜索空间的基础上，将先验分布融入高斯过程的函数模型中，通过重新定义内核矩阵适用于任何采集函数的无偏方法，优于标准贝叶斯优化方法在优化多个基准函数和两个机器学习算法中的表现。

Mar, 2020

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023