Jul, 2023

自适应水平集估计的贝叶斯优化感兴趣区域学习

PDF
TL;DR我们研究高维和非稳态情景下的贝叶斯优化。我们提出了一个名为 BALLET 的框架，通过自适应过滤高置信度感兴趣区域（ROI）来解决现有算法在这些情景中通常需要大量超参数调整的问题。我们的方法易于调整，并能够聚焦于可以应用现有贝叶斯优化方法处理的优化空间的局部区域。关键思想是使用两个概率模型：一个粗糙的高斯过程（GP）用于识别 ROI，一个局部化的 GP 用于 ROI 内的优化。我们理论上证明了 BALLET 可以有效缩小搜索空间，并且能够比没有 ROI 过滤的标准贝叶斯优化展现更紧的遗憾界限。我们通过合成和实际优化任务的实证研究证明了 BALLET 的有效性。
bayesian optimizationhigh-dimensionalnon-stationary scenariosballetregret bound
发现论文，激发创造
  • 利用局部高斯过程限制搜索维度的贝叶斯优化

    通过限制搜索维度并利用本地高斯过程回归（LGPR）将贝叶斯优化（BO）扩展到更高维度，提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中，搜索效率相比其他方法提高了约 69% 和 40%，并将该方法应用于功率半导体器件的自动设计任务，成功将特定导通电阻降低到传统方法的 25％以及没有 LGPR 的情况下的 3.4％。

    Mar, 2024

  • 通过导引贝叶斯优化选择风险控制模型

    通过将贝叶斯优化方法与严格的风险控制程序相结合，我们寻找一种满足用户指定风险限制的配置，同时在其他冲突指标方面也具有有用性，并展示了在多种任务中的有效性。

    Dec, 2023

  • 基于贝叶斯优化的多样解发现

    ROBOT 使用排序和信任区间的方法来找到不同的高性能解决方案，相较于寻找单一最佳解决方案，只需要进行少量的额外函数评估。

    Oct, 2022

  • 基于主成分对齐信任区域的局部适应贝叶斯优化：LABCAT

    LABCAT 算法通过添加主成分对齐旋转和基于局部高斯过程代理模型的长度尺度的自适应重新缩放策略，扩展了基于信任区域的贝叶斯优化方法，通过广泛的数值实验，证明 LABCAT 算法胜过了几种先进的贝叶斯优化和其他黑盒优化算法。

    Nov, 2023

  • 多尺度高斯过程水平集估计

    本文提出了一种基于高斯过程先验的贝叶斯方法的新算法，用于从具有噪声和昂贵评估查询的黑盒函数中估计水平集。该算法利用分层序列的分区来探索不同的搜索空间区域，在不同的细节级别上，取决于它们与水平集边界的接近程度，从而得到比现有具有更低复杂度实现，计算成本极小的算法。同时获得了指标差异的高置信度上限，这些上限已被证明比大类别的高斯过程上现有保证严格更好。

    Feb, 2019

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 局部贝叶斯优化实现可伸缩的全局优化

    本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化，该算法利用一系列局部模型，通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配，并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。

    Oct, 2019

  • 具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

    本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

    Jun, 2023

  • 多元自适应贝叶斯线性回归的热启动可扩展贝叶斯优化

    本文提出了一种基于多重自适应贝叶斯线性回归模型以及共享前馈神经网络的大规模无梯度黑箱函数优化方法，能够更好地处理大量样本数据以及跨机器学习问题的知识传递。

    Dec, 2017

  • 通过贝叶斯主动学习实现自校正贝叶斯优化

    该研究旨在通过优化高斯过程的超参数来改善贝叶斯优化和主动学习方法，提出了两种以此为目标的收集函数，分别是 “SAL” 和 “SCoreBO”；其中 “SCoreBO” 通过同时执行超参数学习和贝叶斯优化来学习模型超参数，同时在许多传统基准测试中胜过了最新的贝叶斯优化方法，并在一系列特殊的贝叶斯优化任务中展示了自我纠正的重要性。

    Apr, 2023