逼近感知贝叶斯优化

Jun, 2024

Approximation-Aware Bayesian Optimization

Natalie Maus, Kyurae Kim, Geoff Pleiss, David Eriksson, John P. Cunningham...

TL;DR使用效用校准变分推断框架，我们修改了稀疏变分高斯过程方法以更好地满足贝叶斯优化的目标，从而确保在计算预算有限的情况下做出最佳决策。我们的方法适用于任何决策理论获得函数，并且与 TuRBO 等信任区域方法兼容。在标准和批量贝叶斯优化设置中，我们为预期改进和知识梯度获得函数导出了高效的联合目标。我们的方法在控制和分子设计的高维基准任务上优于标准的稀疏变分高斯过程方法。

Abstract

high-dimensional bayesian optimization (BO) tasks such as molecular design often require 10,000 function evaluations before obtaining meaningful results. While methods like sparse variational gaussian processes (

high-dimensional bayesian optimization sparse variational gaussian processes utility-calibrated variational inference decision-theoretic acquisition function trust region methods

发现论文，激发创造

基于仿真的贝叶斯优化

模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

Jan, 2024

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

在线决策的稀疏变分高斯过程的条件处理

本文提出了一种名为 OVC 的在线变分条件方法，可以有效地将 SVGPs 与更先进的黑盒优化采集函数配对，即使是在非高斯似然的情况下也能实现，这样一来就可以实现高效的条件并行计算，提供了具有吸引力的性能。

Oct, 2021

高维输出的贝叶斯优化

该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

Jun, 2021

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

面向可扩展贝叶斯采样的统一粒子优化框架

本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

May, 2018

高维贝叶斯优化的标准高斯过程

对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化（BO）在很多合成和真实世界基准问题中表现出色，在高维优化上经常比专门设计的现有 BO 方法更出色，同时具备适应各种目标函数结构的鲁棒性，单纯使用最大似然估计即可获得有前景的优化性能，不需要复杂的马尔可夫链蒙特卡洛采样，因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。

Feb, 2024

利用局部高斯过程限制搜索维度的贝叶斯优化

通过限制搜索维度并利用本地高斯过程回归（LGPR）将贝叶斯优化（BO）扩展到更高维度，提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中，搜索效率相比其他方法提高了约 69% 和 40%，并将该方法应用于功率半导体器件的自动设计任务，成功将特定导通电阻降低到传统方法的 25％以及没有 LGPR 的情况下的 3.4％。

Mar, 2024