May, 2023

局部贝叶斯优化的行为和收敛性

PDF
TL;DR文章介绍了 Bayesian 优化中的局部优化策略，对高维问题具有强大的实证表现，研究表明高斯过程样本路径的个体局部解的统计性质比全局方法更好，首次对 Bayesian 局部优化算法进行了严密分析，并推导了噪声和无噪声情况下的收敛速度。
bayesian optimizationlocal optimizationhigh-dimensional problemsconvergence ratesgaussian process
发现论文，激发创造
  • 局部贝叶斯优化实现可伸缩的全局优化

    本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化，该算法利用一系列局部模型，通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配，并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。

    Oct, 2019

  • 最小化 UCB：局部贝叶斯优化中更好的局部搜索策略

    本研究中，我们提出了一种新的局部贝叶斯优化算法 MinUCB，通过在 GIBO 中将梯度下降步骤替换为最小化 UCB 的策略来改进了梯度下降方法，证明了在应用高斯过程作为替代物时，后者可以比直接梯度下降更好。此外，我们还通过前瞻策略改进了 MinUCB 的取样函数，得到了更高效的算法 LA-MinUCB，并在不同的合成和现实函数中应用我们的算法，结果表明了我们方法的有效性。我们的算法还从上界的角度改进了贝叶斯优化中的局部搜索策略，并为未来算法设计提供了新的方向。

    May, 2024

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • 全球思维，本地行动：基于贝叶斯优化的高维分类和混合搜索空间

    本文提出一种结合局部优化与定制内核设计的新型解决方案，有效应对高维分类和混合搜索空间，同时保留样本效率，经实验证明在性能、计算成本等方面优于当前基准。

    Feb, 2021

  • 利用局部高斯过程限制搜索维度的贝叶斯优化

    通过限制搜索维度并利用本地高斯过程回归（LGPR）将贝叶斯优化（BO）扩展到更高维度，提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中，搜索效率相比其他方法提高了约 69% 和 40%，并将该方法应用于功率半导体器件的自动设计任务，成功将特定导通电阻降低到传统方法的 25％以及没有 LGPR 的情况下的 3.4％。

    Mar, 2024

  • 贝叶斯优化教程

    本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

    Jul, 2018

  • 未知约束的贝叶斯优化

    研究了具有先验未知约束的贝叶斯优化及其在优化问题中的应用，并提供了解决此类问题的通用框架，并在潜在 Dirichlet 分配，神经网络调整和哈密顿蒙特卡罗优化等问题中进行了有效性实证。

    Mar, 2014

  • 使用贝叶斯优化的本地政策搜索

    提出了一种基于概率模型的算法，结合了强化学习中的政策梯度方法和贝叶斯优化中的权衡充分利用已知信息选取样本的方法，实现了通过主动挑选样本来提高梯度估计的效果和减少样本复杂度，具有广泛的应用前景。

    Jun, 2021

  • 贝叶斯优化的收购函数的本地优化器

    本文介绍了贝叶斯优化的方法，通过建模替代函数和最大化收购功能来确定下一步查询的位置，同时考虑三种流行的收购功能的局部优化器的性能分析，并引入允许本地优化方法从多个不同的起始条件开始的分析，数值实验证实了我们的理论分析的有效性。

    Jan, 2019