使用高斯过程在 Bandit 环境下进行最优化估计
通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界,建立了高斯过程优化和实验设计之间的联系。通过实验,我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。
Dec, 2009
该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题,提出了基于高斯过程的 GP-BUCB 算法,证明了与串行方法相比,该算法的累积遗憾仅增加一个独立于批量的常数因子,并在两个真实世界应用中展示了其有效性。
Jun, 2012
本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法,采用新型训练损失函数进行高斯过程超参数估计,以确保无偏估计,从而使其即使在未知真实超参数的情况下,也可以亚线性地收敛到目标函数的全局最优点。
Jun, 2023
本文考虑带有 Bandit 反馈的序贝叶斯优化问题,采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模,并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界,提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能,并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好,而且两种算法都显著优于传统的高斯过程 UCB 算法,因为它将陈旧数据和新数据视为平等。
Jan, 2016
本文提出了两种基于高斯过程(GP)方法的算法:一种乐观的 EC-GP-UCB 算法,另一种是一种消除型算法 Phased GP Uncertainty Sampling。本文给出了算法的上界,其依赖于时间长度和核心参数,证明了我们的算法在不知道错误情况下实现了对 ε 的最优依赖性,并证明了 EC-GP-UCB 可以与后悔边界平衡策略相结合。
Nov, 2021
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数,我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束,并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。
Jun, 2020
采用拟贝叶斯优化的框架,通过利用简单的局部回归和随机化先验构建来量化不确定性,并保证收敛性,有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本文提出了一种采用高斯过程、UCB 策略和纯探索相结合的算法(GP-UCB-PE),旨在解决在评估带有噪声的未知函数时最大化其价值的问题,通过并行迭代的方式进行批次评估,并分析了批次评估与纯顺序评估在累积遗憾方面的差异。理论和实证验证表明,在固定迭代成本的情况下,批次大小为 K 的情况下,GP-UCB-PE 算法具有比纯顺序版本更小的遗憾界。
Apr, 2013