基于半监督学习和优化无标签数据采样的高维贝叶斯优化

May, 2023

High-dimensional Bayesian Optimization via Semi-supervised Learning with Optimized Unlabeled Data Sampling

Yuxuan Yin, Yu Wang, Peng Li

TL;DR本文提出一种基于半监督学习的师生模型的贝叶斯优化方法，利用未标记数据和黑盒函数，在学习到的潜在空间中降低维度，使其可应用于高维问题，优化 unlabeled data 的采样和选择，采用黑盒参数化采样分布和经过动态拟合的极值分布，该方法在多项真实世界和合成训练中优于其他已有 BO 方法。

Abstract

bayesian optimization (BO) is a powerful tool for seeking the global optimum of black-box functions. While evaluations of the black-box functions

发现论文，激发创造

模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

Jan, 2024

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

Jun, 2017

基于变分自编码器的贝叶斯优化（VAE-BO）在处理高维结构化优化问题方面表现出出色的性能。我们提出了一种新颖的方法，通过利用无标签数据的引导，来有效地利用无标签数据与有标签数据进行训练，从而增强鉴别性潜空间的构建。本文中的方法在各种优化场景中胜过现有的 VAE-BO 算法。

Dec, 2023

提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

Jul, 2023

介绍了一种适用于解释性要求高场景下的基于正则化的 BO 方法（SEBO），以发现稀疏且解释性更高的配置。该方法使用一种基于连续同伦的可微松弛技巧，使其能够在直接处理 L0 正则化的同时实现目标优化和稀疏化探索，经过合成和真实世界问题的评估，证明这种方法能够有效优化稀疏化问题。

Mar, 2022

本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

Feb, 2018

本文介绍了一种基于贝叶斯优化的多任务学习方法，其中引入了专家知识进行加速优化，并通过 Siamese 神经网络进行知识收集，实验结果表明，该方法可以显著加速优化过程。

Aug, 2022

本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

Jun, 2022

通过在模型空间和函数空间之间进行反馈，将模型选择与贝叶斯优化相结合，以更加高效地达到函数的极值，证明收敛性并在实验结果中显示与标准贝叶斯优化相比的显著改进。

Aug, 2023