研究了基于 Lipschitz 常数的启发式算法，以提高 Bayesian 优化中参数空间的并行探索能力，并在计算量昂贵的实验中取得了显著的加速效果。

May, 2015

设计并分析了变化的经典 Thompson sampling 算法以用于贝叶斯优化，并在设置中对其进行了比较，其中函数评估代价高但可以并行执行，在时间约束下，异步并行 TS 相对于同步和顺序版本具有渐进性更低的后悔，同时在卷积神经网络的超参数调整应用中，比现有并行 BO 算法表现更好，更加简单。

May, 2017

本文提出了两种新的并行贝叶斯优化（BO）范例，可利用设计空间的结构进行分区。其中，一种方法是按照性能函数的级集划分设计空间，另一种方法是利用性能函数的部分可分性结构。数值实验表明，这些方法可显著减少搜索所需时间，提高发现全局最优解（而非局部最优解）的概率。

Oct, 2022

异步贝叶斯优化通过评估四种嵌入悲观预测的策略扩展了异步优化方法的能力。在模拟环境中，这五种策略与串行采样进行了比较。在某些条件和参数空间维度下，悲观异步策略比等效的串行策略少使用显著数量的实验达到最优实验条件，并且在高维度下对局部最优值的收敛性较不敏感。在考虑更快的采样率之前，本文提出的悲观异步算法可能在高成本实验空间中实现更高效的算法驱动优化。在考虑采样率的情况下，所提出的异步算法能够在实验结果收集之前运行多个实验，从而实现更快的优化。

Jun, 2024

本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

Jun, 2022

研究在 Bayeasian Optimization 中如何使用高斯过程作为后验估计器，并提出了一种混合算法，该算法基于当前状态在顺序策略和批处理策略之间动态切换，批处理策略具有可变的批次大小。本文给出了算法的理论并在八个基准 BO 问题上展示了实验结果。结果表明，相比纯顺序策略，该方法可以实现大幅度的加速（高达 % 78），而不会遭受任何显着的性能损失。

Feb, 2012

本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

Jun, 2017

用一种非阻塞的方式引入少量的随机专家反馈来改善贝叶斯优化，进而在自动科学发现中提高探索性能和数据效率。

Jun, 2024

提出了一种异步迷你批次 (mini-batch) 正则化随机优化算法，可以消除空闲等待并允许工作节点以最大更新速率运行，适当选择步长值可实现 O (1/√T) 和 O (1/T) 的收敛速率，验证了理论结果。

May, 2015

在贝叶斯优化中并行化是一个常见的策略，但面临几个挑战：在获取函数和内核选择方面需要灵活性，同时处理离散和连续变量的灵活性，模型错误指定以及快速大规模并行化。为了解决这些挑战，我们介绍了一个灵活和模块化的基于概率提升和内核数值积分的批量贝叶斯优化框架，称为 SOBER，我们将其作为基于 GPyTorch/BoTorch 的 Python 库进行展示。我们的框架提供以下独特的好处：(1) 统一方法在下游任务中具有多功能性。(2) 无梯度采样器，不需要获取函数的梯度，提供领域不可知的采样 (例如，离散和混合变量，非欧几里得空间)。(3) 领域先验分布的灵活性。(4) 自适应批量大小 (自主确定最佳批量大小)。(5) 鲁棒性对模型错指定的再现核希尔伯特空间。(6) 自然的停止准则。

Apr, 2024