May, 2024

最小化 UCB：局部贝叶斯优化中更好的局部搜索策略

PDF
TL;DR本研究中，我们提出了一种新的局部贝叶斯优化算法 MinUCB，通过在 GIBO 中将梯度下降步骤替换为最小化 UCB 的策略来改进了梯度下降方法，证明了在应用高斯过程作为替代物时，后者可以比直接梯度下降更好。此外，我们还通过前瞻策略改进了 MinUCB 的取样函数，得到了更高效的算法 LA-MinUCB，并在不同的合成和现实函数中应用我们的算法，结果表明了我们方法的有效性。我们的算法还从上界的角度改进了贝叶斯优化中的局部搜索策略，并为未来算法设计提供了新的方向。
发现论文，激发创造
  • 不确定输入下的贝叶斯优化

    本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。

    Feb, 2019

  • 随机高斯过程上置信区间的贝叶斯优化

    为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。

    Jun, 2020

  • 局部贝叶斯优化的行为和收敛性

    文章介绍了 Bayesian 优化中的局部优化策略，对高维问题具有强大的实证表现，研究表明高斯过程样本路径的个体局部解的统计性质比全局方法更好，首次对 Bayesian 局部优化算法进行了严密分析，并推导了噪声和无噪声情况下的收敛速度。

    May, 2023

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 贝叶斯优化的收购函数的本地优化器

    本文介绍了贝叶斯优化的方法，通过建模替代函数和最大化收购功能来确定下一步查询的位置，同时考虑三种流行的收购功能的局部优化器的性能分析，并引入允许本地优化方法从多个不同的起始条件开始的分析，数值实验证实了我们的理论分析的有效性。

    Jan, 2019

  • 局部贝叶斯优化实现可伸缩的全局优化

    本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化，该算法利用一系列局部模型，通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配，并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。

    Oct, 2019

  • 私有外包贝叶斯优化

    本文提出了私有化外包高斯过程 - 上置信区间算法（PO-GP-UCB）, 用于保护隐私 Bayesian 优化算法，在外包设置中提供可证明的性能保证，主要理论贡献为表明与标准高斯过程 - 上置信区间算法相似的后悔上界能被建立。

    Oct, 2020

  • 可证明的强鲁棒性元贝叶斯优化

    本文介绍了两种可扩展且在元学习中具有稳健性的算法，它们是 “稳健元高斯过程 - 置信上界”（RM-GP-UCB）和 “稳健元高斯过程 - 汤普森抽样”（RM-GP-TS），两者均具有渐进无遗憾性。我们同时优化经过在线学习分配给个别任务的权重来减弱不同任务的影响，从而进一步增强稳健性。实证评估表明，在各种应用中，RM-GP-UCB 表现出有效和一致的性能，而尽管 RM-GP-TS 在理论和实践中都不如 RM-GP-UCB 稳健，但在一些具有较少不同任务的场景中表现具有竞争力且更具计算效率。

    Jun, 2022

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • GP-UCB 的遗憾最优性

    高斯过程最大上界置信（GP-UCB）是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一，本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题，即 GP-UCB 的遗憾是否是最优的，并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界，与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。

    Dec, 2023