本文研究如何在小批次情况下，利用高斯过程（Gaussian Process, GP）臂式优化算法进行黑匣子训练优化，假设未知函数在内积核希尔伯特空间（RKHS）中具有较低的范数，并介绍了一种受到有限批量臂式算法启发的批算法，表明它在时间纬度为 T 时，使用 O (log (log T)) 个批次实现了累计遗憾上限 O^*(sqrt (T*gamma_T))，其中 O^*(*) 符号隐藏了与维度无关的对数因子，gamma_T 是与内核相关的最大信息增益，该上限对于几个感兴趣的内核来说几乎是最优的，并且我们的方法可以说是实现这种改进的算法中最简单的方法之一。此外，对于批次数目不依赖于 T 的情况，我们提出了我们算法的修正版本，并描述了遗憾如何受到批量数量的影响，重点关注平方指数和 Matern 内核。通过类似的算法无关下界证明了算法上限几乎是最小化的。

Oct, 2021

本文研究了具有无噪声观测的贝叶斯优化问题，引入了基于离散数据逼近的新算法，依赖于随机探索步骤以确保查询点的填充距离以接近最优速率递减。我们的算法保留了经典的 GP-UCB 算法的易实施性，并满足几乎与 arXiv:2002.05096 中猜测的累积遗憾界相匹配的累积遗憾界，因此解决了 COLT 的一个开放问题。此外，新算法在多个示例中优于 GP-UCB 和其他流行的贝叶斯优化策略。

Jan, 2024

使用高斯过程模型进行贝叶斯优化，以及基于核的奖励优化方法的研究，其中采用从分布中抽取的随机样本进行域的探索。通过该随机探索方法，我们证明其可以实现最优的误差率，并且我们的方法在无噪声和有噪声环境下均具有理想的后悔保证，同时避免了昂贵的无凸优化问题，解决了一个 COLT 开放性问题。

Oct, 2023

对于一维高斯过程先验和高斯采样噪声下的贝叶斯优化问题，本研究提供了一个理论分析，证明在核函数的一些温和技术假设下，到时间 T 时最好的累积遗憾表现为 Ω(√T) 和 O (√TlogT)，这给出了一个紧密的特征，证明了现有界限的接近最优性 (对于 SE 核)，同时证明了它们对于 Matern 核 (nu>2) 是严格的次优的。

May, 2018

本文研究在 Reproducing Kernel Hilbert Space（RKHS）中具有有界范数的函数的黑盒优化问题的算法无关下限，并提供了在标准噪声和各类扰动下的决策边界。

Aug, 2020

本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

Jan, 2019

本文考虑如何基于无噪声样本和 Bandit 反馈来顺序优化黑盒函数，提出了一种新的 Gaussian 过程 Bandit 优化算法，并给出了算法无关的简单遗憾和累计遗憾的下界，进一步阐述了随机波动和目标函数的连续性对累计遗憾和简单遗憾的影响。

May, 2017

本文提出了一种灰盒优化算法，利用 Bayesian 优化框架和 optism-driven 算法，在常用 Kernel 函数下表现出收敛速度优异的特点，这个算法在常规黑盒算法之上大幅提高了全局最优解求解的速度。

Jun, 2023

本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

Sep, 2019

本文基于高斯过程置信上界算法（Gaussian process upper confidence bound）和汤普森抽样方法（Thompson sampling）提出了两个贝叶斯优化算法，同时给出了频率学派的遗憾保证和数值结果。

Nov, 2019