高维贝叶斯优化之监督降维

IJCAIJul, 2019

High Dimensional Bayesian Optimization via Supervised Dimension Reduction

Miao Zhang, Huiqi Li, Steven Su

TL;DR本文提出了一种基于 Sliced Inverse Regression（SIR）的高维贝叶斯优化算法，能够通过降维方法学习对象函数的内在子结构，并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明，该算法在高维贝叶斯优化中具有优越性。

Abstract

bayesian optimization (BO) has been broadly applied to computational expensive problems, but it is still challenging to extend BO to high dimensions. Existing works are usually under strict assumption of an additive or a linear embedding structure for objective functions. This paper di

bayesian optimization dimension reduction sliced inverse regression kernel trick high-dimensional

发现论文，激发创造

利用随机先验网络进行高维输出的可伸缩贝叶斯优化

本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

Feb, 2023

高效稳健的贝叶斯超参数选择方法在降维可视化中的应用

本研究提出了一个有效且强健的自动调参框架，用于在大型数据集和任意性能指标下进行降维算法的超参数选择，利用贝叶斯优化和代理模型，该方法使得超参数选择具有多目标权衡的效率，并允许我们进行数据驱动的敏感性分析。通过添加归一化和子采样，该框架表现出了多样性和高效性，并在 t-SNE 和 UMAP 等可视化技术应用中进行了评估。我们利用多种质量指标在各种合成和实际数据集上评估了我们的结果，从而为降维算法中的超参数选择提供了一个强健而高效的解决方案

Jun, 2023

稀疏轴向对齐子空间的高维贝叶斯优化

基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

Feb, 2021

通过一维子空间在高维空间中进行自适应和安全的贝叶斯优化

提出了一种名为 LineBO 的算法，将高维度的贝叶斯优化问题限制为一系列一维子问题，实现了全局收敛和快速局部速率，并在应用于多个合成基准测试和真实应用中获得了良好的结果。

Feb, 2019

批处理高维贝叶斯优化：通过结构核学习实现

本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化，(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构，并使用定向点过程构建批量查询。实验结果证明，该方法优于现有技术。

Mar, 2017

SCORE：打破贝叶斯优化在高维空间中的局限的一种一维参数重新参数化技术

本文提出了一种名为 SCORE 的快速可扩展方法，通过一维重新参数化技巧打破 Bayesian 优化在高维场景下的维度诅咒，从而在不需要高性能计算资源的情况下成功寻找到针插到大海中的优化函数的全局最小值，并拟合实际数据。

Jun, 2024

高维贝叶斯优化使用 Dropout

使用 dropout 策略在高维贝叶斯优化中优化每次迭代的变量集。对遗憾进行了理论上的界定，并在训练级联分类器和优化合金组合这两个现实应用中证明其有效性。

Feb, 2018

稀疏贝叶斯优化

介绍了一种适用于解释性要求高场景下的基于正则化的 BO 方法（SEBO），以发现稀疏且解释性更高的配置。该方法使用一种基于连续同伦的可微松弛技巧，使其能够在直接处理 L0 正则化的同时实现目标优化和稀疏化探索，经过合成和真实世界问题的评估，证明这种方法能够有效优化稀疏化问题。

Mar, 2022

高维贝叶斯优化：基于有重叠分组加性模型

本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

Feb, 2018

高维空间中普通贝叶斯优化表现出色

高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况，并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外，我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法，通过与维度进行简单缩放的高斯过程长度尺度先验，揭示了在高维情况下标准贝叶斯优化比以往认为的表现要好得多，明显优于多个常见的真实高维任务的现有最先进算法。

Feb, 2024