Mar, 2015

高维贝叶斯优化与加法模型赌博机

PDF
TL;DR本文提出在具有加性结构的情形下，基于贝叶斯优化算法优化高维函数具有更好的表达性和计算优势，并且证明该方法在加性函数下的误差仅与维数呈线性关系。此外，通过各种实验表明，我们的算法在加性函数和非加性函数情形下的效果显著优于 naive BO。
bayesian optimisationfunction optimisationhigh-dimensional functionsadditive structureregret
发现论文，激发创造
  • 高维贝叶斯优化：基于有重叠分组加性模型

    本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

    Feb, 2018

  • 基于树结构加性模型的高维贝叶斯优化

    本文提出了一种基于广义加性模型 (GAM) 的 Bayesian Optimization (BO) 方法来解决高维优化问题，该方法采用树形结构的依赖图来优化加速计算，同时保留现有方法的样本效率，相比于通过 Gibbs 采样和变异的混合图算法更加高效，通过一系列的实验验证了该方法的有效性。

    Dec, 2020

  • 去除去中心化无懊悔高维贝叶斯优化中的可加性约束

    本文提出了一种松弛针对 $f$ 的加性结构限制的去中心化贝叶斯优化算法 DuMBO，并针对过度探索问题进行调节，是一种在高维环境下实现成本高昂的优化的良好选择。

    May, 2023

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 指数衰减遗憾的贝叶斯乐观优化

    本文从贝叶斯优化和基于树的乐观优化结合的角度出发，探讨了在无噪声环境中提高后悔度边界的可能性，并提出了 BOO 算法，该算法在假设目标函数从具有 Matern 内核且平滑度参数 ν>4+D/2 的高斯过程中提取样本的情况下，可以实现指数级后悔度边界。实验结果表明，BOO 算法在优化各种合成函数和机器学习超参数调整任务方面，均优于基线算法。

    May, 2021

  • 高维贝叶斯优化使用 Dropout

    使用 dropout 策略在高维贝叶斯优化中优化每次迭代的变量集。对遗憾进行了理论上的界定，并在训练级联分类器和优化合金组合这两个现实应用中证明其有效性。

    Feb, 2018

  • 高维贝叶斯优化之监督降维

    本文提出了一种基于 Sliced Inverse Regression（SIR）的高维贝叶斯优化算法，能够通过降维方法学习对象函数的内在子结构，并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明，该算法在高维贝叶斯优化中具有优越性。

    Jul, 2019

  • 随机延迟反馈下的贝叶斯优化

    本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

    Jun, 2022

  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021