使用上置信界和纯探索的并行高斯过程优化

Apr, 2013

使用上置信界和纯探索的并行高斯过程优化

Parallel Gaussian Process Optimization with Upper Confidence Bound and Pure Exploration

Emile Contal, David Buffoni, Alexandre Robicquet, Nicolas Vayatis

TL;DR本文提出了一种采用高斯过程、UCB 策略和纯探索相结合的算法（GP-UCB-PE），旨在解决在评估带有噪声的未知函数时最大化其价值的问题，通过并行迭代的方式进行批次评估，并分析了批次评估与纯顺序评估在累积遗憾方面的差异。理论和实证验证表明，在固定迭代成本的情况下，批次大小为 K 的情况下，GP-UCB-PE 算法具有比纯顺序版本更小的遗憾界。

Abstract

In this paper, we consider the challenge of maximizing an unknown function f for which evaluations are noisy and are acquired with high cost. An iterative procedure uses the previous measures to actively select the next estimation of f which is predicted to be the most useful. We focus on the case where the function can be evaluated in parallel with batches

maximizing unknown function noisy evaluations parallel evaluation gaussian process regret analysis

发现论文，激发创造

随机高斯过程上置信区间的贝叶斯优化

为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。

Jun, 2020

高斯过程赌博优化中的勘探 - 开发权衡并行化

该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题，提出了基于高斯过程的 GP-BUCB 算法，证明了与串行方法相比，该算法的累积遗憾仅增加一个独立于批量的常数因子，并在两个真实世界应用中展示了其有效性。

Jun, 2012

使用高斯过程在 Bandit 环境下进行最优化估计

本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

Oct, 2015

赌赢型高斯过程优化：无悔与实验设计

通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

Dec, 2009

GP-UCB 的遗憾最优性

高斯过程最大上界置信（GP-UCB）是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一，本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题，即 GP-UCB 的遗憾是否是最优的，并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界，与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。

Dec, 2023

多保真度高斯过程贝叶斯优化

在支持多精度的贝叶斯优化中，MF-GP-UCB 方法可显着提高性能并降低遗憾值

Mar, 2016

时变高斯过程贝叶斯优化

本文考虑带有 Bandit 反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好，而且两种算法都显著优于传统的高斯过程 UCB 算法，因为它将陈旧数据和新数据视为平等。

Jan, 2016

高斯过程优化与互信息

本文分析使用高斯过程进行序列全局优化的一种通用算法方案，我们得出的累积遗憾的上限较之前已知的算法（如 GP-UCB）有指数倍的改善。我们还介绍了一种新颖的高斯过程互信息算法（GP-MI），它显著进一步提高了累积遗憾的上限。我们通过与自然竞争者 GP-UCB 和期望改进算法在合成和实际任务上的效率来证实此算法的有效性。

Nov, 2013

私有外包贝叶斯优化

本文提出了私有化外包高斯过程 - 上置信区间算法（PO-GP-UCB）, 用于保护隐私 Bayesian 优化算法，在外包设置中提供可证明的性能保证，主要理论贡献为表明与标准高斯过程 - 上置信区间算法相似的后悔上界能被建立。

Oct, 2020

多点期望改进法在最优批量设计中的应用

本文借鉴目前在多点预期收益（Expected Improvement，EI）准则上的最新工作，从 EI 的梯度角度出发，推导出一种闭合表达式，旨在利用基于梯度的上升算法，方便 EI 的最大化，并显示了在应用中的实质性计算节省。结合基于 UCB 的起始设计和基于梯度的 EI 本地优化，在分布式高斯过程优化的批量设计中最终呈现出一个可行的选择。

Mar, 2015