贝叶斯优化的收购函数的本地优化器
贝叶斯优化是一种采样高效的全局优化方法,采用获得函数(采购函数)来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数,证明其可进行梯度优化;我们还确定了一类通用的采购函数,包括 EI 和 UCB,并证明我们可以使用贪心算法对其进行优化。
May, 2018
本文研究了贝叶斯优化中的采集函数建立方法,将多种常见采集函数转化为高斯积分以求优,最终用 Monte Carlo 估算器通过该 reparameterized 方法实现了高效并行优化选择。
Dec, 2017
通过融合算法和人类搜索策略的关键成果和见解,该论文提出了一种新的获得函数,掌握探索和开发之间的权衡,可以自适应地选择下一个解决方案,表现出卓越的性能
May, 2023
我们提出了一种改进的 EI 方法,通过引入高斯过程模型提供的协方差信息,修正了传统的 EI 公式,以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明,在黑盒优化的基准函数和神经网络模型压缩的参数搜索中,我们提出的方法在存在噪声观测时能够胜过 EI 方法。
Oct, 2023
本文通过采用在线多臂赌博策略,采用多种参数化的收购功能组合(其中最佳的是 GP-Hedge),优于使用单一收购方法,提高了排序算法的性能,并提供了算法性能的理论界限。
Sep, 2010
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018
本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法,通过利用网络中的中间输出信息,实现了比标准方法更高的查询效率和渐进一致性,并在多个合成和实际问题中表现出优异性能。
Dec, 2021
采用拟贝叶斯优化的框架,通过利用简单的局部回归和随机化先验构建来量化不确定性,并保证收敛性,有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023