IJCAIJun, 2020

随机高斯过程上置信区间的贝叶斯优化

PDF
TL;DR为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。
bayesian optimisationgaussian processexploration-exploitation trade-offacquisition functionregret
发现论文，激发创造
  • 使用上置信界和纯探索的并行高斯过程优化

    本文提出了一种采用高斯过程、UCB 策略和纯探索相结合的算法（GP-UCB-PE），旨在解决在评估带有噪声的未知函数时最大化其价值的问题，通过并行迭代的方式进行批次评估，并分析了批次评估与纯顺序评估在累积遗憾方面的差异。理论和实证验证表明，在固定迭代成本的情况下，批次大小为 K 的情况下，GP-UCB-PE 算法具有比纯顺序版本更小的遗憾界。

    Apr, 2013

  • 不确定输入下的贝叶斯优化

    本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。

    Feb, 2019

  • GP-UCB 的遗憾最优性

    高斯过程最大上界置信（GP-UCB）是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一，本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题，即 GP-UCB 的遗憾是否是最优的，并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界，与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。

    Dec, 2023

  • 时变高斯过程贝叶斯优化

    本文考虑带有 Bandit 反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好，而且两种算法都显著优于传统的高斯过程 UCB 算法，因为它将陈旧数据和新数据视为平等。

    Jan, 2016

  • 私有外包贝叶斯优化

    本文提出了私有化外包高斯过程 - 上置信区间算法（PO-GP-UCB）, 用于保护隐私 Bayesian 优化算法，在外包设置中提供可证明的性能保证，主要理论贡献为表明与标准高斯过程 - 上置信区间算法相似的后悔上界能被建立。

    Oct, 2020

  • 赌赢型高斯过程优化：无悔与实验设计

    通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

    Dec, 2009

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 多保真度高斯过程贝叶斯优化

    在支持多精度的贝叶斯优化中，MF-GP-UCB 方法可显着提高性能并降低遗憾值

    Mar, 2016

  • 具未知高斯过程先验的元贝叶斯优化的遗憾界

    本文提出一种基于经验贝叶斯的方法，估计高斯过程先验，并构建无偏估计的后验，在线实验中达到近似零遗憾边界。

    Nov, 2018

  • 未知高斯过程超参数的贝叶斯优化理论分析

    在随机环境下，通过使用高斯过程和未知核超参数的贝叶斯优化方法，我们得出了一个对于预期改善收集函数和亚高斯观察噪声的累积遗憾界限，为我们提供了关于如何设计超参数估计方法的指导，并通过简单模拟说明了遵循这些准则的重要性。

    Jun, 2014