高维贝叶斯优化中线性嵌入的重新审视
本文介绍了 Random Embedding Bayesian Optimization (REMBO) 算法,运用随机嵌入思想来攻克高维度问题,此算法简单且具有重要的不变性,应用于具有连续和分类变量的领域,经理论和实证分析证明 REMBO 可在高达数十亿个维度的问题中有效地解决问题,其在优化流行的混合整数线性规划求解器的 47 个离散参数方面也达到了状态的最佳表现。
Jan, 2013
该研究提出了一种使用 Riemannian 流形理论的方法,以在机器人学领域中处理非欧几里德参数空间的高维度问题,从而增强了贝叶斯优化的效果,测试结果表明该方法具有较好的性能。
Oct, 2019
本文提出了一个深度学习框架,基于具有随机先验的 bootstrap 整合的神经体系结构,用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系,测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。
Feb, 2023
该论文提出了一种基于随机嵌入贝叶斯优化的方法,并通过将高维子空间的扭曲集成到协方差核中来扩展它。该方法可以解决高外部维度的缺点,避免算法评估提供冗余信息的点,并缓解嵌入域选择边界限制,从而提高其鲁棒性,并在一个具有 25 个变量和内部维度 6 的测试用例中进行了说明。
Nov, 2014
本文提出了一种基于集成高斯过程模型的贝叶斯优化算法(EBO),以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明,EBO 能在几分钟内扩展到数万次观测,同时取得了前所未有的优化效果。
Jun, 2017
本文提出了一种基于 Sliced Inverse Regression(SIR)的高维贝叶斯优化算法,能够通过降维方法学习对象函数的内在子结构,并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明,该算法在高维贝叶斯优化中具有优越性。
Jul, 2019
本文提出了一种新的基于加性模型的贝叶斯优化算法,可以高效地处理存在重叠子集的高维函数优化问题,并通过图上的信息传递算法优化其采集函数,同时提出了通过 Gibbs 抽样学习其结构的算法,实验证明该方法在合成数据和真实数据上都具有良好效果。
Feb, 2018
提出了一种名为 LineBO 的算法,将高维度的贝叶斯优化问题限制为一系列一维子问题,实现了全局收敛和快速局部速率,并在应用于多个合成基准测试和真实应用中获得了良好的结果。
Feb, 2019
提出 BAxUS 方法,通过应用一种新颖的嵌套随机子空间方法来适应高维度贝叶斯优化问题,确保高性能并消除失败风险,同时得到了比现有方法更好的结果。
Apr, 2023