Oct, 2023

贝叶斯优化中的随机探索：最优遗憾和计算效率

PDF
TL;DR使用高斯过程模型进行贝叶斯优化，以及基于核的奖励优化方法的研究，其中采用从分布中抽取的随机样本进行域的探索。通过该随机探索方法，我们证明其可以实现最优的误差率，并且我们的方法在无噪声和有噪声环境下均具有理想的后悔保证，同时避免了昂贵的无凸优化问题，解决了一个 COLT 开放性问题。
bayesian optimizationgaussian process modelskernel-based bandit optimizationrandom explorationregret guarantees
发现论文，激发创造
  • 基于无噪声观测的贝叶斯优化：通过随机探索改善遗憾边界

    本文研究了具有无噪声观测的贝叶斯优化问题，引入了基于离散数据逼近的新算法，依赖于随机探索步骤以确保查询点的填充距离以接近最优速率递减。我们的算法保留了经典的 GP-UCB 算法的易实施性，并满足几乎与 arXiv:2002.05096 中猜测的累积遗憾界相匹配的累积遗憾界，因此解决了 COLT 的一个开放问题。此外，新算法在多个示例中优于 GP-UCB 和其他流行的贝叶斯优化策略。

    Jan, 2024

  • 一种基于域缩减的贝叶斯优化算法，具有最优遗憾性能

    本文提出了一种基于高斯过程的算法，通过域缩小方法和函数域的树形分区迭代优化，获得了与多项式对数因子有关的高性能。所提出的算法是第一个具有渐近最优遗憾保证的基于高斯过程的算法，并且与 GP-UCB 算法相比，将计算复杂度降低了多项式级别。

    Oct, 2020

  • 高斯过程赌博机的最优顺序简单后悔

    研究了高斯过程二元组和连续性优化问题之间的联系，建立了稳健分布，使用分步方式获得最终收敛结果并得到了一系列引理。

    Aug, 2021

  • 赌赢型高斯过程优化：无悔与实验设计

    通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

    Dec, 2009

  • 分布式内核赌博机中使用共享随机采样的最佳订单遗憾

    我们提出了第一个算法，它以次线性的通信成本实现了最佳的（以集中式学习定义的）遗憾顺序，通过局部智能的均匀探索和与中央服务器共享随机性这两个关键组成部分与 GP 模型的稀疏近似共同作用，能够以递减的通信速率保持集中设置的学习速率。

    Feb, 2024

  • 基于确定性遗憾界的高效批处理黑盒优化

    本研究从基于频率的核方法角度探讨黑盒优化，提出了一种新的批处理优化算法，可以同时优化收购函数并从整个批次中选择点，理论上为无噪声和扰动设置导出了遗憾界限，同时分析了对贝叶斯优化的鲁棒初始化所需的敌对遗憾的性质。

    May, 2019

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 关于标准和鲁棒高斯过程赌博优化的下限

    本文研究在 Reproducing Kernel Hilbert Space（RKHS）中具有有界范数的函数的黑盒优化问题的算法无关下限，并提供了在标准噪声和各类扰动下的决策边界。

    Aug, 2020

  • 重尾利润下的贝叶斯优化

    本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

    Sep, 2019

  • 一维贝叶斯优化的紧遗憾界

    对于一维高斯过程先验和高斯采样噪声下的贝叶斯优化问题，本研究提供了一个理论分析，证明在核函数的一些温和技术假设下，到时间 T 时最好的累积遗憾表现为 Ω(√T) 和 O (√TlogT)，这给出了一个紧密的特征，证明了现有界限的接近最优性 (对于 SE 核)，同时证明了它们对于 Matern 核 (nu>2) 是严格的次优的。

    May, 2018