May, 2023

基于可微分分位函数逼近的有噪声、昂贵且混合模型的无悔约束贝叶斯优化

PDF
TL;DR本篇研究提出了一种新的算法，称为 Constrained Upper Quantile Bound (CUQB)，用于解决输入为昂贵黑盒函数的组合函数（混合模型）的高效有约束全局优化问题，并表明 CUQB 在约束和无约束情况下都显著优于传统贝叶斯优化，且具有更好的理论保证。
constrained global optimizationcomposite functionblack-box functioncuqb algorithmbayesian optimization
发现论文，激发创造
  • 具有噪声实验的约束贝叶斯优化

    本文提出一种基于贝叶斯优化的方法用于有噪声的随机实验，通过利用贪心批量优化和拟蒙特卡罗逼近，有效地优化了多个连续参数，并在 Facebook 进行的真实实验中验证了其性能。

    Jun, 2017

  • 量子贝叶斯优化

    通过引入量子高斯过程 - 置信上界（Q-GP-UCB）算法，我们得到了第一个 BO 算法，可以在经典设置中将遗憾上界压缩为 O（对数多项式级别的 T），明显小于其遗憾下界 Omega（sqrt（T））。

    Oct, 2023

  • 分布稳健的贝叶斯积分优化

    本研究针对具有分布不确定性的贝叶斯积分优化问题使用分布鲁棒优化视角，提出了一种基于后验抽样的算法（DRBQO），旨在最大化最对抗分布下的预期目标，并通过贝叶斯遗憾度量其理论收敛性。我们在合成和真实世界问题中展示了我们提出的框架的实证有效性。

    Jan, 2020

  • GP-UCB 的遗憾最优性

    高斯过程最大上界置信（GP-UCB）是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一，本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题，即 GP-UCB 的遗憾是否是最优的，并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界，与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。

    Dec, 2023

  • 基于无噪声观测的贝叶斯优化：通过随机探索改善遗憾边界

    本文研究了具有无噪声观测的贝叶斯优化问题，引入了基于离散数据逼近的新算法，依赖于随机探索步骤以确保查询点的填充距离以接近最优速率递减。我们的算法保留了经典的 GP-UCB 算法的易实施性，并满足几乎与 arXiv:2002.05096 中猜测的累积遗憾界相匹配的累积遗憾界，因此解决了 COLT 的一个开放问题。此外，新算法在多个示例中优于 GP-UCB 和其他流行的贝叶斯优化策略。

    Jan, 2024

  • 约束超分位数优化的快速计算通过隐式场景缩减

    介绍了一种快速、可扩展和强大的二阶计算框架来解决带有超量分位数约束的大规模优化问题。

    May, 2024

  • 重尾利润下的贝叶斯优化

    本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

    Sep, 2019

  • 赌赢型高斯过程优化：无悔与实验设计

    通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

    Dec, 2009

  • 改进受限积分的求积

    本研究提出了改进的贝叶斯框架，用于估计受限函数的仿射变换并实现四重积分，重点关注非负函数约束和以非负数与有限数为范围的函数约束，最终提出了一种在原始空间下进行超参数优化的新方法，实验结果表明我们的框架比现有的贝叶斯四重积分程序效果更好并且更快。

    Feb, 2018

  • 不确定输入下的贝叶斯优化

    本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。

    Feb, 2019