受限贝叶斯优化与最大值熵搜索

Oct, 2019

Constrained Bayesian Optimization with Max-Value Entropy Search

Valerio Perrone, Iaroslav Shcherbatyi, Rodolphe Jenatton, Cedric Archambeau, Matthias Seeger

TL;DR本文提出了基于高斯过程的约束最大值熵搜索 (cMES) 并表明它比其他基于熵搜索的约束优化算法在真实约束优化问题上更简单更快速。

Abstract

bayesian optimization (BO) is a model-based approach to sequentially optimize expensive black-box functions, such as the validation error of a deep neural network with respect to its hyperparameters. In many real-world scenarios, the optimization is further subject to a priori unknown

bayesian optimization gaussian process constrained optimization hyperparameter optimization acquisition function

发现论文，激发创造

带约束的多目标贝叶斯优化的最大值熵搜索

提出一种名为 MESMOC 的新方法来解决大规模设计问题的优化，通过使用输出空间熵的获得函数，选择评估输入序列来发现高质量的帕累托集解决方案同时满足约束条件。

Sep, 2020

多精度贝叶斯优化中的最大值熵搜索及其并行化

本文介绍了一种基于 max-value entropy search 的多保真度贝叶斯优化 (MF-MES) 方法，该方法通过考虑最优函数值的熵，而非最优输入点，大大简化了计算，并成功解决了信息熵的估计难题。同时，文章还提出了 MF-MES 的并行化方案，并通过材料科学数据等基准数据集的实验验证了该方法的有效性。

Jan, 2019

高效贝叶斯优化的最大值熵搜索

提出一种新的最大值熵搜索（Max-value Entropy Search，MES）标准，用于提高贝叶斯优化方法的计算效率和实现遗憾界规范，该方法在高维问题上效率更高且性能良好。

Mar, 2017

基于决策论熵的贝叶斯优化泛化

本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效优化它们，成功地解决了各种顺序决策任务中的优化问题。

Oct, 2022

费用受限的贝叶斯优化的非近视方法

本文提出了将成本约束的 BO 建模为约束马尔科夫决策过程 (CMDP) 的方法，并开发了一个高效的滚动估计算法，以同时考虑成本和未来迭代次数。作者在超参数优化和传感器集选择中验证了他们的方法。

Jun, 2021

鲁棒熵搜索的安全高效贝叶斯优化

通过开发高效的信息获取函数 Robust Entropy Search（RES），我们在合成数据和真实数据的实验中实证其优点，并展示了 RES 相对于最先进算法的优越性，从而解决了工程应用中贝叶斯优化（BO）的高采样效率和找到稳健解决方案的特殊要求，特别是在参数完全可控但在应用时部分参数不可控或甚至被干扰的对抗鲁棒性情况下。

May, 2024

带约束的多目标贝叶斯优化的改进最大值熵搜索

MESMOC + 是 Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints（MESMOC）的改进版，用于解决评估昂贵的约束多目标问题，其成本是线性的，常常比其他方法更快。其基于函数空间的最小化熵的方法可优化 Pareto frontier 并且较之前的方法更为准确。

Nov, 2020

高效鲁棒贝叶斯优化的噪声输入熵搜索

该论文提出了一种名为 Noisy-Input Entropy Search 的信息理论采集函数，该函数基于将鲁棒性目标视为高斯过程的关键洞察，通过考虑输入和测量噪声来解决由于输入参数不确定性带来的问题，在基准测试问题和工程问题中展示了较高的性能表现并优于现有方法。

Feb, 2020

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

CAGES: 高效局部多保真贝叶斯优化的成本感知梯度熵搜索

通过提出一种名为 Cost-Aware Gradient Entropy Search（CAGES）的算法，本研究针对多配置的黑盒函数设计了一种局部贝叶斯优化方法，以提高性能并克服维度的问题。CAGES 算法不需要假设不同信息源之间的关系，更加灵活，同时采用一种新型的信息理论获取函数，能够系统地确定在每次评估的成本下最大化对未知梯度的信息增益的样本。通过在合成和基准强化学习问题上的实验，我们证明了 CAGES 相对于当前最先进的方法能够实现显著的性能改进。

May, 2024