Oct, 2022

基于决策论熵的贝叶斯优化泛化

PDF
TL;DR本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效优化它们，成功地解决了各种顺序决策任务中的优化问题。
bayesian optimizationshannon entropyinformation-theoreticgradient-based methodssequential decision making
发现论文，激发创造
  • 受限贝叶斯优化与最大值熵搜索

    本文提出了基于高斯过程的约束最大值熵搜索 (cMES) 并表明它比其他基于熵搜索的约束优化算法在真实约束优化问题上更简单更快速。

    Oct, 2019

  • 鲁棒熵搜索的安全高效贝叶斯优化

    通过开发高效的信息获取函数 Robust Entropy Search（RES），我们在合成数据和真实数据的实验中实证其优点，并展示了 RES 相对于最先进算法的优越性，从而解决了工程应用中贝叶斯优化（BO）的高采样效率和找到稳健解决方案的特殊要求，特别是在参数完全可控但在应用时部分参数不可控或甚至被干扰的对抗鲁棒性情况下。

    May, 2024

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 基于原则的偏好贝叶斯优化

    通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。

    Feb, 2024

  • 高效鲁棒贝叶斯优化的噪声输入熵搜索

    该论文提出了一种名为 Noisy-Input Entropy Search 的信息理论采集函数，该函数基于将鲁棒性目标视为高斯过程的关键洞察，通过考虑输入和测量噪声来解决由于输入参数不确定性带来的问题，在基准测试问题和工程问题中展示了较高的性能表现并优于现有方法。

    Feb, 2020

  • 博弈论、最大熵、最小差异和鲁棒贝叶斯决策理论

    本文研究了极大熵和最小化最坏期望损失之间的密切关系，证明了这两个问题是对偶的，并提供了将一种问题的解用于另一种问题的方法，同时扩展了熵的一般定义，引入了分布差异的最小化概念并建立了相应的理论。

    Oct, 2004

  • GIBBON: 通用信息为基础的贝叶斯优化

    本文介绍了 GIBBON 作为一种通用的贝叶斯优化方法，它提供了一种新的信息增益近似方法，可解决包括噪声、多保真度和批量优化在内的一系列 BO 问题，并且是目前支持非欧氏空间的高性能但计算量轻的批量 BO 获取函数，同时在各种综合测试中表现优异。

    Feb, 2021

  • 贝叶斯优化的熵搜索组合

    本文提出了一种新的资产组合方法 —— 熵搜索组合（ESP），以解决 Bayesian 优化方法中的探索策略选择问题，并在实际和人工数据上的若干问题中证明了 ESP 方法的优越性和鲁棒性。

    Jun, 2014

  • $π$BO：基于用户信念增强收敛函数的贝叶斯优化方法

    提出了一种基于先验置信度的并将其纳入概率分布中的 PiBO (Bayesian optimization 的改进版)，该算法可用于机器学习中的超参数优化，可以提高其效率并显著减少时间成本。

    Apr, 2022

  • 随机延迟反馈下的贝叶斯优化

    本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

    Jun, 2022