Oct, 2019

局部贝叶斯优化实现可伸缩的全局优化

PDF
TL;DR本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化，该算法利用一系列局部模型，通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配，并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。
bayesian optimizationglobal optimizationturbo algorithmlocal modelshigh-dimensional problems
发现论文，激发创造
  • 局部贝叶斯优化的行为和收敛性

    文章介绍了 Bayesian 优化中的局部优化策略，对高维问题具有强大的实证表现，研究表明高斯过程样本路径的个体局部解的统计性质比全局方法更好，首次对 Bayesian 局部优化算法进行了严密分析，并推导了噪声和无噪声情况下的收敛速度。

    May, 2023

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 高维搜索空间上的多目标贝叶斯优化

    本文提出了一种可伸缩的多目标贝叶斯优化算法 MORBO，通过同时在设计空间的多个本地区域中使用协调策略进行并行优化，远高于现有算法的采样效率，适用于高维度的综合问题。

    Sep, 2021

  • 基于贝叶斯优化的多样解发现

    ROBOT 使用排序和信任区间的方法来找到不同的高性能解决方案，相较于寻找单一最佳解决方案，只需要进行少量的额外函数评估。

    Oct, 2022

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 正则化无界贝叶斯优化

    本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。

    Aug, 2015

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 最小化 UCB：局部贝叶斯优化中更好的局部搜索策略

    本研究中，我们提出了一种新的局部贝叶斯优化算法 MinUCB，通过在 GIBO 中将梯度下降步骤替换为最小化 UCB 的策略来改进了梯度下降方法，证明了在应用高斯过程作为替代物时，后者可以比直接梯度下降更好。此外，我们还通过前瞻策略改进了 MinUCB 的取样函数，得到了更高效的算法 LA-MinUCB，并在不同的合成和现实函数中应用我们的算法，结果表明了我们方法的有效性。我们的算法还从上界的角度改进了贝叶斯优化中的局部搜索策略，并为未来算法设计提供了新的方向。

    May, 2024