高斯过程在对数变换目标上训练的期望改进的闭式形式推导

Nov, 2024

高斯过程在对数变换目标上训练的期望改进的闭式形式推导

Derivation of Closed Form of Expected Improvement for Gaussian Process Trained on Log-Transformed Objective

Shuhei Watanabe

TL;DR本研究解决了利用期望改进（EI）进行贝叶斯优化时，因数值精度敏感性而导致的性能提升难题。作者提供了一种友好的推导方法，以填补之前文献中的空白，进一步验证了对数变换目标的高斯过程在提高预测准确性方面的有效性。本工作的重要发现是，提供了EI的闭式形式推导，增强了其应用于实际问题的可行性。

Abstract

Expected Improvement (EI) is arguably the most widely used acquisition function in Bayesian Optimization. However, it is often challenging to enhance the performance with EI due to its sensitivity to numerical pr

发现论文，激发创造

未知高斯过程超参数的贝叶斯优化理论分析

在随机环境下，通过使用高斯过程和未知核超参数的贝叶斯优化方法，我们得出了一个对于预期改善收集函数和亚高斯观察噪声的累积遗憾界限，为我们提供了关于如何设计超参数估计方法的指导，并通过简单模拟说明了遵循这些准则的重要性。

Jun, 2014

改进预期改进算法

研究EI算法的性质及其在贝叶斯优化中的表现。一种简单的修改EI算法的方法可以得到渐近最优的结果，并比标准的EI算法性能高一个数量级。

May, 2017

贝叶斯优化教程

本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

Jul, 2018

复合函数的贝叶斯优化

通过使用多输出高斯过程模型和预期改善在经过修改的非高斯正则先验上进行采样（EI）的有效最大化，本研究提出了一种新方法来优化复合目标函数，该复合目标函数是将一个高昂的黑盒子类函数h(x)的向量输出g(h(x))函数与一个廉价函数g(x)组合而成。实验结果显示，该方法可以减少简单遗憾值数个数量级，比标准贝叶斯优化方法显着优越。

Jun, 2019

宏动作非近视高斯过程优化

提出一种多阶段的方法来针对使用高斯过程噪音模型的复杂目标函数进行非近视自适应贝叶斯优化 (BO)，并利用宏操作来实现针对更大可用预算的进一步前瞻性扩展; 通过提出新的求解方法和使用已有技术，建立非近视适应性的 epsilon-Bayes 最优宏操作 GPO（epsilon-Macro-GPO）策略，最后在模拟和真实数据集中对该策略及其任何时候变化进行了实证评估。

Feb, 2020

随机高斯过程上置信区间的贝叶斯优化

为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程UCB采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比GP-UCB获得了更好的性能。

Jun, 2020

BORE: 基于密度比率估计的贝叶斯优化

将expected improvement的计算转化为二分类问题，以避免分析可观测性和提高Bayesian optimization的效率和适用性。

Feb, 2021

一个在嘈杂观测下修正的期望改进获得函数

我们提出了一种改进的EI方法，通过引入高斯过程模型提供的协方差信息，修正了传统的EI公式，以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明，在黑盒优化的基准函数和神经网络模型压缩的参数搜索中，我们提出的方法在存在噪声观测时能够胜过EI方法。

Oct, 2023

贝叶斯优化中对预期改进的意外改进

我们提出了一种名为LogEI的新型收敛函数家族，其成员在数值优化方面比标准收敛函数更容易操作，能够显著提升优化性能，并与最新的收敛函数表现相媲美或超越，突显了数字优化在文献中的被低估作用。

Oct, 2023

变分熵搜索用于调整预期改进

通过变分推理（VI）的方法，将Expected Improvement（EI）视为最大值熵搜索（MES）的特例，发展了变分熵搜索（VES）方法和VES-Gamma算法，将信息论概念融入EI中，展示了VES-Gamma在贝叶斯优化中的理论和实践效用。

Feb, 2024