通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界,建立了高斯过程优化和实验设计之间的联系。通过实验,我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。
Dec, 2009
在随机环境下,通过使用高斯过程和未知核超参数的贝叶斯优化方法,我们得出了一个对于预期改善收集函数和亚高斯观察噪声的累积遗憾界限,为我们提供了关于如何设计超参数估计方法的指导,并通过简单模拟说明了遵循这些准则的重要性。
Jun, 2014
本文研究了一种直接利用未知函数 argmax 估计值的优化策略,并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡,在机器人和视觉任务的广泛实证评估中表现出鲁棒性,通过性能 - 遗憾的界限说明了自适应调整的效果。
Oct, 2015
本文研究了具有无噪声观测的贝叶斯优化问题,引入了基于离散数据逼近的新算法,依赖于随机探索步骤以确保查询点的填充距离以接近最优速率递减。我们的算法保留了经典的 GP-UCB 算法的易实施性,并满足几乎与 arXiv:2002.05096 中猜测的累积遗憾界相匹配的累积遗憾界,因此解决了 COLT 的一个开放问题。此外,新算法在多个示例中优于 GP-UCB 和其他流行的贝叶斯优化策略。
Jan, 2024
我们提出了第一个在未知超参数情况下具有无悔性特性的算法 HE-GP-UCB,并支持贝叶斯和频率两种设置。
Feb, 2024
高斯过程最大上界置信(GP-UCB)是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一,本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题,即 GP-UCB 的遗憾是否是最优的,并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界,与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。
Dec, 2023
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数,我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束,并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。
Jun, 2020
本文提出了第一个无后悔的贝叶斯优化算法,它在没有核心参数的先验知识的情况下,可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类,该算法可考虑更复杂的函数候选项。
Jan, 2019
本文介绍了两种可扩展且在元学习中具有稳健性的算法,它们是 “稳健元高斯过程 - 置信上界”(RM-GP-UCB)和 “稳健元高斯过程 - 汤普森抽样”(RM-GP-TS),两者均具有渐进无遗憾性。我们同时优化经过在线学习分配给个别任务的权重来减弱不同任务的影响,从而进一步增强稳健性。实证评估表明,在各种应用中,RM-GP-UCB 表现出有效和一致的性能,而尽管 RM-GP-TS 在理论和实践中都不如 RM-GP-UCB 稳健,但在一些具有较少不同任务的场景中表现具有竞争力且更具计算效率。
Jun, 2022
本文提出了私有化外包高斯过程 - 上置信区间算法(PO-GP-UCB), 用于保护隐私 Bayesian 优化算法,在外包设置中提供可证明的性能保证,主要理论贡献为表明与标准高斯过程 - 上置信区间算法相似的后悔上界能被建立。
Oct, 2020