高维贝叶斯优化的标准高斯过程

Feb, 2024

Standard Gaussian Process is All You Need for High-Dimensional Bayesian Optimization

Zhitong Xu, Shandian Zhe

TL;DR对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化（BO）在很多合成和真实世界基准问题中表现出色，在高维优化上经常比专门设计的现有 BO 方法更出色，同时具备适应各种目标函数结构的鲁棒性，单纯使用最大似然估计即可获得有前景的优化性能，不需要复杂的马尔可夫链蒙特卡洛采样，因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。

Abstract

There has been a long-standing and widespread belief that Bayesian Optimization (BO) with standard gaussian process (GP), referred to as standard BO, is ineffective in high-dimensional optimization problems. This

bayesian optimization gaussian process high-dimensional optimization surrogate models maximum likelihood estimation

发现论文，激发创造

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

高维输出的贝叶斯优化

该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

Jun, 2021

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

高斯 Cox 过程模型在时空数据中的贝叶斯优化

本文提出了一种新颖的基于高斯 Cox 过程的最大后验推断方法，通过引入 Laplace 近似和核函数转换技术，使得推断问题在新的再生核希尔伯特空间中更易于计算，从而在功能后验和后验的协方差方面得到了扩展。在此基础上，我们提出了一个基于高斯 Cox 过程模型的贝叶斯优化框架，并进一步开发了一种 Nyström 近似方法以进行高效计算。在各种合成和实际数据集上的广泛评估表明，与现有的高斯 Cox 过程推断解决方案相比，本方法取得了显著的改进，同时还能有效地进行基于高斯 Cox 过程模型设计的各种收集函数的贝叶斯优化。

Jan, 2024

高斯过程和贝叶斯优化在金融应用中的作用

本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

Mar, 2019

高维空间中普通贝叶斯优化表现出色

高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况，并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外，我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法，通过与维度进行简单缩放的高斯过程长度尺度先验，揭示了在高维情况下标准贝叶斯优化比以往认为的表现要好得多，明显优于多个常见的真实高维任务的现有最先进算法。

Feb, 2024

高维空间中的批量大规模贝叶斯优化

本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

Jun, 2017

预训练高斯过程用于贝叶斯优化

本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

Sep, 2021

利用局部高斯过程限制搜索维度的贝叶斯优化

通过限制搜索维度并利用本地高斯过程回归（LGPR）将贝叶斯优化（BO）扩展到更高维度，提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中，搜索效率相比其他方法提高了约 69% 和 40%，并将该方法应用于功率半导体器件的自动设计任务，成功将特定导通电阻降低到传统方法的 25％以及没有 LGPR 的情况下的 3.4％。

Mar, 2024