超越遗憾:贝叶斯优化的几何度量
通过使用偏好反馈,我们构建了黑盒函数的置信区间,并提出了一种乐观算法,该算法具有有效的计算方法,并且在累积遗憾方面具有信息理论上的界限,从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明,我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能,相比现有的启发式方法而言,我们的方法不仅拥有遗憾界限或收敛性的理论保证。
Feb, 2024
对于一维高斯过程先验和高斯采样噪声下的贝叶斯优化问题,本研究提供了一个理论分析,证明在核函数的一些温和技术假设下,到时间 T 时最好的累积遗憾表现为 Ω(√T) 和 O (√TlogT),这给出了一个紧密的特征,证明了现有界限的接近最优性 (对于 SE 核),同时证明了它们对于 Matern 核 (nu>2) 是严格的次优的。
May, 2018
本文从贝叶斯优化和基于树的乐观优化结合的角度出发,探讨了在无噪声环境中提高后悔度边界的可能性,并提出了 BOO 算法,该算法在假设目标函数从具有 Matern 内核且平滑度参数 ν>4+D/2 的高斯过程中提取样本的情况下,可以实现指数级后悔度边界。实验结果表明,BOO 算法在优化各种合成函数和机器学习超参数调整任务方面,均优于基线算法。
May, 2021
采用拟贝叶斯优化的框架,通过利用简单的局部回归和随机化先验构建来量化不确定性,并保证收敛性,有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本文提出了第一个无后悔的贝叶斯优化算法,它在没有核心参数的先验知识的情况下,可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类,该算法可考虑更复杂的函数候选项。
Jan, 2019
高斯过程最大上界置信(GP-UCB)是一个优化带噪声观测的黑盒函数的最受欢迎的方法之一,本文首次肯定地回答了在贝叶斯优化文献中的一个重要开放问题,即 GP-UCB 的遗憾是否是最优的,并提出了在目标函数具有某种平滑性质时 GP-UCB 的简单和累积遗憾的新上界,与具有相同平滑性质的优化函数的已知最小 - 最大下界匹配。
Dec, 2023
本研究从基于频率的核方法角度探讨黑盒优化,提出了一种新的批处理优化算法,可以同时优化收购函数并从整个批次中选择点,理论上为无噪声和扰动设置导出了遗憾界限,同时分析了对贝叶斯优化的鲁棒初始化所需的敌对遗憾的性质。
May, 2019
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018