May, 2023

去除去中心化无懊悔高维贝叶斯优化中的可加性约束

PDF
TL;DR本文提出了一种松弛针对 $f$ 的加性结构限制的去中心化贝叶斯优化算法 DuMBO，并针对过度探索问题进行调节，是一种在高维环境下实现成本高昂的优化的良好选择。
bayesian optimizationacquisition functionhigh-dimensional spacesadditive structuredecentralized bo
发现论文，激发创造
  • 高维贝叶斯优化与加法模型赌博机

    本文提出在具有加性结构的情形下，基于贝叶斯优化算法优化高维函数具有更好的表达性和计算优势，并且证明该方法在加性函数下的误差仅与维数呈线性关系。此外，通过各种实验表明，我们的算法在加性函数和非加性函数情形下的效果显著优于 naive BO。

    Mar, 2015

  • 高维贝叶斯优化：基于有重叠分组加性模型

    本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

    Feb, 2018

  • 基于树结构加性模型的高维贝叶斯优化

    本文提出了一种基于广义加性模型 (GAM) 的 Bayesian Optimization (BO) 方法来解决高维优化问题，该方法采用树形结构的依赖图来优化加速计算，同时保留现有方法的样本效率，相比于通过 Gibbs 采样和变异的混合图算法更加高效，通过一系列的实验验证了该方法的有效性。

    Dec, 2020

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019

  • 具因子图的分散高维贝叶斯优化

    本文提出了一种新颖的去中心化高维贝叶斯优化算法（DEC-HBO），它利用各个输入组成部分在未知目标函数 f 的输出上产生的相互依赖关系提高贝叶斯优化（BO）算法性能，并在不需要先验知识或输入空间的低（有效）维度的情况下保持可扩展性。通过提出稀疏但丰富的因子图表示法，设计了一个能够通过分布式消息传递以去中心化方式进行高效优化的采样函数，以实现对 f 的富描述。实验表明，DEC-HBO 算法优于现有 BO 算法。

    Nov, 2017

  • 指数衰减遗憾的贝叶斯乐观优化

    本文从贝叶斯优化和基于树的乐观优化结合的角度出发，探讨了在无噪声环境中提高后悔度边界的可能性，并提出了 BOO 算法，该算法在假设目标函数从具有 Matern 内核且平滑度参数 ν>4+D/2 的高斯过程中提取样本的情况下，可以实现指数级后悔度边界。实验结果表明，BOO 算法在优化各种合成函数和机器学习超参数调整任务方面，均优于基线算法。

    May, 2021

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 分布稳健的贝叶斯积分优化

    本研究针对具有分布不确定性的贝叶斯积分优化问题使用分布鲁棒优化视角，提出了一种基于后验抽样的算法（DRBQO），旨在最大化最对抗分布下的预期目标，并通过贝叶斯遗憾度量其理论收敛性。我们在合成和真实世界问题中展示了我们提出的框架的实证有效性。

    Jan, 2020

  • 局部贝叶斯优化实现可伸缩的全局优化

    本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化，该算法利用一系列局部模型，通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配，并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。

    Oct, 2019