收益函数的参数化技巧
贝叶斯优化是一种采样高效的全局优化方法,采用获得函数(采购函数)来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数,证明其可进行梯度优化;我们还确定了一类通用的采购函数,包括 EI 和 UCB,并证明我们可以使用贪心算法对其进行优化。
May, 2018
本文介绍了贝叶斯优化的方法,通过建模替代函数和最大化收购功能来确定下一步查询的位置,同时考虑三种流行的收购功能的局部优化器的性能分析,并引入允许本地优化方法从多个不同的起始条件开始的分析,数值实验证实了我们的理论分析的有效性。
Jan, 2019
通过融合算法和人类搜索策略的关键成果和见解,该论文提出了一种新的获得函数,掌握探索和开发之间的权衡,可以自适应地选择下一个解决方案,表现出卓越的性能
May, 2023
本文通过采用在线多臂赌博策略,采用多种参数化的收购功能组合(其中最佳的是 GP-Hedge),优于使用单一收购方法,提高了排序算法的性能,并提供了算法性能的理论界限。
Sep, 2010
本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法,通过利用网络中的中间输出信息,实现了比标准方法更高的查询效率和渐进一致性,并在多个合成和实际问题中表现出优异性能。
Dec, 2021
本文提出了一种称为 NORA 的新方法,该方法利用高斯过程回归的嵌套采样并行生成近似排序的 Monte Carlo 样本,以有效生成排序一致的候选者批次,以及推断边际量。
May, 2023
我们提出了一种改进的 EI 方法,通过引入高斯过程模型提供的协方差信息,修正了传统的 EI 公式,以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明,在黑盒优化的基准函数和神经网络模型压缩的参数搜索中,我们提出的方法在存在噪声观测时能够胜过 EI 方法。
Oct, 2023
本文介绍了一种基于贝叶斯优化,采用基于滚动学习策略搜索的方法,其中引入了以减少计算负担为目的的仿准蒙特卡罗、公共随机数和控制变量等技术,应用于多模态目标和模型误差的贝叶斯优化领域中。
Feb, 2020
利用概率重参数化方法(PR)在混合或高基数离散搜索空间中最大化收购功能(AF),可显著提高贝叶斯优化(BO)的优化表现,并且能够很自然地扩展到具有多个目标和黑盒约束的设置。
Oct, 2022