ICMLMay, 2018

一维贝叶斯优化的紧遗憾界

PDF
TL;DR对于一维高斯过程先验和高斯采样噪声下的贝叶斯优化问题，本研究提供了一个理论分析，证明在核函数的一些温和技术假设下，到时间 T 时最好的累积遗憾表现为 Ω(√T) 和 O (√TlogT)，这给出了一个紧密的特征，证明了现有界限的接近最优性 (对于 SE 核)，同时证明了它们对于 Matern 核 (nu>2) 是严格的次优的。
bayesian optimizationgaussian process priorcumulative regretkernelmatern kernel
发现论文，激发创造
  • 对于带噪声高斯过程赌博优化的损失下界

    本文考虑如何基于无噪声样本和 Bandit 反馈来顺序优化黑盒函数，提出了一种新的 Gaussian 过程 Bandit 优化算法，并给出了算法无关的简单遗憾和累计遗憾的下界，进一步阐述了随机波动和目标函数的连续性对累计遗憾和简单遗憾的影响。

    May, 2017

  • 指数衰减遗憾的贝叶斯乐观优化

    本文从贝叶斯优化和基于树的乐观优化结合的角度出发，探讨了在无噪声环境中提高后悔度边界的可能性，并提出了 BOO 算法，该算法在假设目标函数从具有 Matern 内核且平滑度参数 ν>4+D/2 的高斯过程中提取样本的情况下，可以实现指数级后悔度边界。实验结果表明，BOO 算法在优化各种合成函数和机器学习超参数调整任务方面，均优于基线算法。

    May, 2021

  • 重尾利润下的贝叶斯优化

    本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

    Sep, 2019

  • 具有确定性观测的高斯过程赌博机的指数遗憾界

    通过分析高斯过程臂带问题，针对确定性观察结果，运用分支限定算法攻击了确定性情况并获得了更快的指数收敛率，显示出后悔随着时间推移而按高概率下降，估计呈现 O（e ^ - tau * t / (ln t)^（d/4））的结果，其中 d 是搜索空间的维度，tau 是目标函数在其全局最大值附近的行为所依赖的常数。

    Jun, 2012

  • 高斯过程赌博中的信息增益与遗憾界限

    研究连续性赌博机问题下高斯过程与多种学习算法（GP-UCB、GP-TS）的误差性能，通过独立的贝叶斯和频率学派来分析多项式差距，得出了均价核的特殊化，进一步提高了误差性能。

    Sep, 2020

  • 高斯过程赌博机的最优顺序简单后悔

    研究了高斯过程二元组和连续性优化问题之间的联系，建立了稳健分布，使用分步方式获得最终收敛结果并得到了一系列引理。

    Aug, 2021

  • 量子贝叶斯优化

    通过引入量子高斯过程 - 置信上界（Q-GP-UCB）算法，我们得到了第一个 BO 算法，可以在经典设置中将遗憾上界压缩为 O（对数多项式级别的 T），明显小于其遗憾下界 Omega（sqrt（T））。

    Oct, 2023

  • 对数贝叶斯遗憾界

    研究提出了贝叶斯奖励机制的有限时间对数遗憾度的边界及其应用，并发现了这些权重实际上可以加强已知的上界。

    Jun, 2023

  • 少批次高斯过程贝叶斯优化

    本文研究如何在小批次情况下，利用高斯过程（Gaussian Process, GP）臂式优化算法进行黑匣子训练优化，假设未知函数在内积核希尔伯特空间（RKHS）中具有较低的范数，并介绍了一种受到有限批量臂式算法启发的批算法，表明它在时间纬度为 T 时，使用 O (log (log T)) 个批次实现了累计遗憾上限 O^*(sqrt (T*gamma_T))，其中 O^*(*) 符号隐藏了与维度无关的对数因子，gamma_T 是与内核相关的最大信息增益，该上限对于几个感兴趣的内核来说几乎是最优的，并且我们的方法可以说是实现这种改进的算法中最简单的方法之一。此外，对于批次数目不依赖于 T 的情况，我们提出了我们算法的修正版本，并描述了遗憾如何受到批量数量的影响，重点关注平方指数和 Matern 内核。通过类似的算法无关下界证明了算法上限几乎是最小化的。

    Oct, 2021

  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019