复合函数的贝叶斯优化

Jun, 2019

Bayesian Optimization of Composite Functions

Raul Astudillo, Peter I. Frazier

TL;DR通过使用多输出高斯过程模型和预期改善在经过修改的非高斯正则先验上进行采样（EI）的有效最大化，本研究提出了一种新方法来优化复合目标函数，该复合目标函数是将一个高昂的黑盒子类函数 h (x) 的向量输出 g (h (x)) 函数与一个廉价函数 g (x) 组合而成。实验结果显示，该方法可以减少简单遗憾值数个数量级，比标准贝叶斯优化方法显着优越。

Abstract

We consider optimization of composite objective functions, i.e., of the form $f(x)=g(h(x))$, where $h$ is a black-box derivative-free expensive-to-evaluate function with vector-valued outputs, and $g$ is a cheap-to-evaluate real-valued function. While these problems can be solved with

bayesian optimization multi-output gaussian process expected improvement composite functions optimization

发现论文，激发创造

BOIS: 基于贝叶斯优化的互联系统

通过使用自适应线性化的方法来处理复合函数的统计矩问题，引入了一种新的 Bayesian optimization (BO) 模式，可有效利用结构化知识，并在化学过程优化案例研究中取得了性能提升和复合函数统计特性的准确捕捉。

Nov, 2023

函数网络的贝叶斯优化

本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法，通过利用网络中的中间输出信息，实现了比标准方法更高的查询效率和渐进一致性，并在多个合成和实际问题中表现出优异性能。

Dec, 2021

一种随机复合非凸优化的混合随机优化框架

提出一种新方法解决一类复合随机非凸优化问题，通过组合两种随机估计量形成混合估计量，将之应用于多种变体的随机梯度法中以达到最优的复杂度界限。

Jul, 2019

针对并行多目标贝叶斯优化的可微分期望超体积改进方法

本文利用编程模型和硬件加速，提出了 q-Expected Hypervolume Improvement (qEHVI) 算法，使得计算多目标贝叶斯优化的探索函数能够适用于平行、受限制的计算情况，并通过自动微分方法，一个精确的求解 MC 积分误差的加速器来计算探索函数的性能和效果进行了实证研究。

Jun, 2020

昂贵积分的贝叶斯优化

提出一种用于贝叶斯优化的算法，优化对象为求和或积分形式、具有难以评估的函数，适用于机器学习超参数调优、模拟优化、随机实验设计等领域，该方法在单次函数评估处于预算内时具有平均情况最优性，通过解决信息价值优化问题达到了一步最优性，同时也在数值实验中表现优良。

Mar, 2018

联合复合潜空间贝叶斯优化

Bayesian Optimization is enhanced by integrating intermediate outputs and effectively tackles high-dimensional problems using Joint Composite Latent Space Bayesian Optimization.

Nov, 2023

昂贵嵌套灰盒函数的贝叶斯优化

本文提出了一种灰盒优化算法，利用 Bayesian 优化框架和 optism-driven 算法，在常用 Kernel 函数下表现出收敛速度优异的特点，这个算法在常规黑盒算法之上大幅提高了全局最优解求解的速度。

Jun, 2023

多级组合随机优化及嵌套方差缩减

本文提出一种使用归一化近端梯度求解多层组合优化问题的方法，其中包含一系列随机平滑映射，在嵌套随机方差约减的帮助下获得近似梯度，其期望样本复杂度为 O（ϵ^-3），在有限求和的情况下为 O（N+√Nϵ^-2），其中 N 是所有组合级别上的函数总数。与以前的方法相比，我们的总样本复杂度在组合级别数量上的依赖性是多项式的，而不是指数的。

Aug, 2019

非凸主降 - 最小化复合优化

我们考虑了一类非凸主泛函，证明这些主泛函仍足以保证全局收敛的优化算法，并通过对原始飞行时间数据的深度超分辨率来说明我们算法的行为。

Feb, 2018

组合结构的贝叶斯优化

该篇论文提出了一种基于半定规划的自适应、可扩展模型的算法，用于优化机器学习、离散优化和贵重求值黑盒函数所需的组合结构，该算法在实验中表现优于组合和贝叶斯优化等其他方法。

Jun, 2018