Feb, 2024

使用概率遗憾界限停止贝叶斯优化

HTML
PDF
TL;DR通过验证有限数量的后验分布绘制，将规定的停止规则替换为$(\epsilon, \delta)$准则，我们证明了贝叶斯优化在有限时间内停止并返回满足$(\epsilon, \delta)$准则的点。
发现论文，激发创造
  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • 随机优化的概率线搜索

    本文提出了一种结合确定性方法和Bayesian优化概念的概率线性搜索算法，使用高斯过程代理优化目标，并使用Wolf条件的概率信念来监控下降，有效地消除了对随机梯度下降的学习率的定义。

    Feb, 2015

  • 时变高斯过程贝叶斯优化

    本文考虑带有Bandit反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程UCB算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现TV-GP-UCB的逐渐遗忘效果比R-GP-UCB“尖锐重置”更好，而且两种算法都显著优于传统的高斯过程UCB算法，因为它将陈旧数据和新数据视为平等。

    Jan, 2016

  • 一维贝叶斯优化的紧遗憾界

    对于一维高斯过程先验和高斯采样噪声下的贝叶斯优化问题，本研究提供了一个理论分析，证明在核函数的一些温和技术假设下，到时间T时最好的累积遗憾表现为Ω(√T)和O(√TlogT)，这给出了一个紧密的特征，证明了现有界限的接近最优性(对于SE核)，同时证明了它们对于Matern核(nu>2)是严格的次优的。

    May, 2018

  • 贝叶斯优化教程

    本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

    Jul, 2018

  • 具未知高斯过程先验的元贝叶斯优化的遗憾界

    本文提出一种基于经验贝叶斯的方法，估计高斯过程先验，并构建无偏估计的后验，在线实验中达到近似零遗憾边界。

    Nov, 2018

  • 高斯过程赌博中的信息增益与遗憾界限

    研究连续性赌博机问题下高斯过程与多种学习算法（GP-UCB、GP-TS）的误差性能，通过独立的贝叶斯和频率学派来分析多项式差距，得出了均价核的特殊化，进一步提高了误差性能。

    Sep, 2020

  • 贝叶斯优化中的随机探索：最优遗憾和计算效率

    使用高斯过程模型进行贝叶斯优化，以及基于核的奖励优化方法的研究，其中采用从分布中抽取的随机样本进行域的探索。通过该随机探索方法，我们证明其可以实现最优的误差率，并且我们的方法在无噪声和有噪声环境下均具有理想的后悔保证，同时避免了昂贵的无凸优化问题，解决了一个COLT开放性问题。

    Oct, 2023

  • 基于后验采样的贝叶斯优化与更紧的贝叶斯遗憾界限

    该研究论文介绍了贝叶斯优化中的不同收集函数，探讨了高斯过程上置信界与Thompson采样方法的理论性能，并提出了一种称为来自样本路径最大值的改进概率的新的收集函数，它能够缓解实际应用中的问题。

    Nov, 2023

  • 基于无噪声观测的贝叶斯优化：通过随机探索改善遗憾边界

    本文研究了具有无噪声观测的贝叶斯优化问题，引入了基于离散数据逼近的新算法，依赖于随机探索步骤以确保查询点的填充距离以接近最优速率递减。我们的算法保留了经典的GP-UCB算法的易实施性，并满足几乎与arXiv:2002.05096中猜测的累积遗憾界相匹配的累积遗憾界，因此解决了COLT的一个开放问题。此外，新算法在多个示例中优于GP-UCB和其他流行的贝叶斯优化策略。

    Jan, 2024