组合贝叶斯优化的随机后处理

Sep, 2023

Random postprocessing for combinatorial Bayesian optimization

Keisuke Morita, Yoshihiko Nishikawa, Masayuki Ohzeki

TL;DR本文研究了一个后处理方法对贝叶斯优化的影响，该方法禁止数据集中存在重复样本，结果发现后处理方法显著降低了贝叶斯优化寻找全局最优解所需的顺序步骤的数量，特别是当求解函数采用最大后验估计的收益函数时，这为解决高维问题下贝叶斯优化的收敛速度慢提供了一种简单而普适的策略。

Abstract

model-based sequential approaches to discrete "black-box" optimization, including bayesian optimization techniques, often access the same points multiple times for a given objective function in interest, resultin

model-based sequential approaches discrete black-box optimization bayesian optimization postprocessing method slow convergence

发现论文，激发创造

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

通过多次评估少量独特候选项扩展高斯过程优化

通过限制历史点的数量，经过改进后的高斯过程后验可以用于更有效的黑盒优化，这对高转换成本的 GP-Opt 实际应用，如湿实验中的化学物品切换和超参数优化中的数据 / 模型加载特别有用。

Jan, 2022

贝叶斯多尺度乐观优化

本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

Feb, 2014

组合结构的贝叶斯优化

该篇论文提出了一种基于半定规划的自适应、可扩展模型的算法，用于优化机器学习、离散优化和贵重求值黑盒函数所需的组合结构，该算法在实验中表现优于组合和贝叶斯优化等其他方法。

Jun, 2018

高维输出的贝叶斯优化

该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

Jun, 2021

高维贝叶斯优化离散序列的调查与基准

通过统一的框架和标准化的黑盒函数，针对化学和生物学的实际应用领域，该论文研究了贝叶斯优化的高维优化方法和技术难点，并提供了易于拓展的软件库，以方便实践者更好地应用于离散优化问题。

Jun, 2024

基于仿真的贝叶斯优化

模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

Jan, 2024

基于路径的实用贝叶斯优化

我们提出了一种扩展的 SnAKe 算法，可以同时处理实验成本和输入参数变化成本，包括最大允许输入变化和多目标设置。

Dec, 2023

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

贝叶斯优化中利用并行实验的新范式

本文提出了两种新的并行贝叶斯优化（BO）范例，可利用设计空间的结构进行分区。其中，一种方法是按照性能函数的级集划分设计空间，另一种方法是利用性能函数的部分可分性结构。数值实验表明，这些方法可显著减少搜索所需时间，提高发现全局最优解（而非局部最优解）的概率。

Oct, 2022