贝叶斯优化的熵搜索组合
本文提出了一种基于信息论的贝叶斯优化方法 —— 预测性熵搜索(PES),PES 可以在全局最优值相对应的信息增益期望上选择下一个评估点,通过预测分布差异熵的期望减少来表示无法计算的获取函数,PES 可以获得比其他方法更准确和更有效的近似值,并且可以轻松进行完全贝叶斯处理,本文还对来自不同领域的数据进行了评估,结果显示 PES 增强了优化性能。
Jun, 2014
本文通过采用在线多臂赌博策略,采用多种参数化的收购功能组合(其中最佳的是 GP-Hedge),优于使用单一收购方法,提高了排序算法的性能,并提供了算法性能的理论界限。
Sep, 2010
通过开发高效的信息获取函数 Robust Entropy Search(RES),我们在合成数据和真实数据的实验中实证其优点,并展示了 RES 相对于最先进算法的优越性,从而解决了工程应用中贝叶斯优化(BO)的高采样效率和找到稳健解决方案的特殊要求,特别是在参数完全可控但在应用时部分参数不可控或甚至被干扰的对抗鲁棒性情况下。
May, 2024
提出一种新的最大值熵搜索(Max-value Entropy Search,MES)标准,用于提高贝叶斯优化方法的计算效率和实现遗憾界规范,该方法在高维问题上效率更高且性能良好。
Mar, 2017
本文提出一种基于 Sherman 逻辑的不确定性泛化度量,将它应用到贝叶斯优化中来表征不确定性,从而解决了当前信息理论 BO 算法无法考虑后续过程的问题,并且提出一个以此为基础的灵活的获取函数家族。最后,作者还开发了一种基于梯度的方法来高效优化它们,成功地解决了各种顺序决策任务中的优化问题。
Oct, 2022
本研究提出了信息理论框架,以解决具有黑盒约束条件的全局黑盒优化问题,并开发了一种预测熵搜索策略以解决解耦约束条件问题,在几个人工合成及实际问题中进行了改进比较,为有快慢函数评估的问题提出了平衡 PESC 元计算和目标计算时间的部分更新算法,并提出了自适应切换部分和完整更新版本来插值,PESC 为约束贝叶斯优化提供了一种统一的有效算法方向。
Nov, 2015
该论文提出了一种名为 Noisy-Input Entropy Search 的信息理论采集函数,该函数基于将鲁棒性目标视为高斯过程的关键洞察,通过考虑输入和测量噪声来解决由于输入参数不确定性带来的问题,在基准测试问题和工程问题中展示了较高的性能表现并优于现有方法。
Feb, 2020
本文提出一种名为具有约束的预测熵搜索(PESC)的基于信息的方法,旨在解决使用贝叶斯优化的期望改进启发式算法遇到的路径 ologies,并分析其在合成、基准和真实世界实例中表现优于基于 EI 的方法,展示其是一种有效的算法,为约束贝叶斯优化提供了一种有前途的解决方案。
Feb, 2015
通过变分推理(VI)的方法,将 Expected Improvement(EI)视为最大值熵搜索(MES)的特例,发展了变分熵搜索(VES)方法和 VES-Gamma 算法,将信息论概念融入 EI 中,展示了 VES-Gamma 在贝叶斯优化中的理论和实践效用。
Feb, 2024