贝叶斯优化中探索 - 利用权衡的掌握
本文介绍了贝叶斯优化的方法,通过建模替代函数和最大化收购功能来确定下一步查询的位置,同时考虑三种流行的收购功能的局部优化器的性能分析,并引入允许本地优化方法从多个不同的起始条件开始的分析,数值实验证实了我们的理论分析的有效性。
Jan, 2019
贝叶斯优化是一种采样高效的全局优化方法,采用获得函数(采购函数)来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数,证明其可进行梯度优化;我们还确定了一类通用的采购函数,包括 EI 和 UCB,并证明我们可以使用贪心算法对其进行优化。
May, 2018
本文通过采用在线多臂赌博策略,采用多种参数化的收购功能组合(其中最佳的是 GP-Hedge),优于使用单一收购方法,提高了排序算法的性能,并提供了算法性能的理论界限。
Sep, 2010
本文研究了贝叶斯优化中的采集函数建立方法,将多种常见采集函数转化为高斯积分以求优,最终用 Monte Carlo 估算器通过该 reparameterized 方法实现了高效并行优化选择。
Dec, 2017
该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题,提出了基于高斯过程的 GP-BUCB 算法,证明了与串行方法相比,该算法的累积遗憾仅增加一个独立于批量的常数因子,并在两个真实世界应用中展示了其有效性。
Jun, 2012
本文研究了一种直接利用未知函数 argmax 估计值的优化策略,并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡,在机器人和视觉任务的广泛实证评估中表现出鲁棒性,通过性能 - 遗憾的界限说明了自适应调整的效果。
Oct, 2015
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数,我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束,并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。
Jun, 2020
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018
本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法,通过利用网络中的中间输出信息,实现了比标准方法更高的查询效率和渐进一致性,并在多个合成和实际问题中表现出优异性能。
Dec, 2021