本文提出了一种结合确定性方法和 Bayesian 优化概念的概率线性搜索算法，使用高斯过程代理优化目标，并使用 Wolf 条件的概率信念来监控下降，有效地消除了对随机梯度下降的学习率的定义。
Feb, 2015
将现有的确定性优化方法的结构与贝叶斯优化的概念相结合，构建了一种概率线搜索算法，用于处理只有随机渐变可以获得的情况，并有效地消除了定义随机梯度下降的学习率的需要。
Mar, 2017
本文介绍了一种基于线搜索的方法来发现平滑函数的不受限制的局部最小值，该方法使用迭代方法来计算搜索方向，收敛速度优秀。此外，还研究了使用共轭梯度和 Lanczos 方法进行搜索向量的近似计算，并得到了这些实用方法的修正收敛性和复杂性结果。
Jun, 2017
展示了基于随机一阶模型和方向的线搜索方法的全局收敛速度，并说明了其评估复杂度与使用确定性精确模型的对应方法相同，但使用概率模型只增加了一个依赖于模型好坏概率的常数。同时，分析了一种概率三次正则化方法，允许近似概率二阶模型，并展示了与概率一阶方法相比的复杂度提高。
May, 2015
本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。
Aug, 2015
采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本研究中，我们提出了一种新的局部贝叶斯优化算法 MinUCB，通过在 GIBO 中将梯度下降步骤替换为最小化 UCB 的策略来改进了梯度下降方法，证明了在应用高斯过程作为替代物时，后者可以比直接梯度下降更好。此外，我们还通过前瞻策略改进了 MinUCB 的取样函数，得到了更高效的算法 LA-MinUCB，并在不同的合成和现实函数中应用我们的算法，结果表明了我们方法的有效性。我们的算法还从上界的角度改进了贝叶斯优化中的局部搜索策略，并为未来算法设计提供了新的方向。
May, 2024
本文提出一种通过在 batch loss 负梯度方向上进行一维抛物线逼近的简单且强大的线性搜索方法来自动找到深度学习优化的最优步长，并在多个数据集和架构上进行了全面的评估。
Mar, 2019
本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。
Feb, 2019
本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018