信息效率全局优化的熵搜索
本文提出了一种基于信息论的贝叶斯优化方法——预测性熵搜索(PES),PES 可以在全局最优值相对应的信息增益期望上选择下一个评估点,通过预测分布差异熵的期望减少来表示无法计算的获取函数,PES 可以获得比其他方法更准确和更有效的近似值,并且可以轻松进行完全贝叶斯处理,本文还对来自不同领域的数据进行了评估,结果显示 PES 增强了优化性能。
Jun, 2014
本文提出了一种结合确定性方法和Bayesian优化概念的概率线性搜索算法,使用高斯过程代理优化目标,并使用Wolf条件的概率信念来监控下降,有效地消除了对随机梯度下降的学习率的定义。
Feb, 2015
提出一种新的最大值熵搜索(Max-value Entropy Search,MES)标准,用于提高贝叶斯优化方法的计算效率和实现遗憾界规范,该方法在高维问题上效率更高且性能良好。
Mar, 2017
将现有的确定性优化方法的结构与贝叶斯优化的概念相结合,构建了一种概率线搜索算法,用于处理只有随机渐变可以获得的情况,并有效地消除了定义随机梯度下降的学习率的需要。
Mar, 2017
本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化,该算法利用一系列局部模型,通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配,并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。
Oct, 2019
该论文提出了一种名为Noisy-Input Entropy Search的信息理论采集函数,该函数基于将鲁棒性目标视为高斯过程的关键洞察,通过考虑输入和测量噪声来解决由于输入参数不确定性带来的问题,在基准测试问题和工程问题中展示了较高的性能表现并优于现有方法。
Feb, 2020
本文提出一种基于Sherman逻辑的不确定性泛化度量,将它应用到贝叶斯优化中来表征不确定性,从而解决了当前信息理论BO算法无法考虑后续过程的问题,并且提出一个以此为基础的灵活的获取函数家族。最后,作者还开发了一种基于梯度的方法来高效优化它们,成功地解决了各种顺序决策任务中的优化问题。
Oct, 2022
我们开发了一种基于多维积分的概率方法,用于求解全局最优解,该方法不需要梯度信息,具有收敛性和适用于任意维度的特性。通过在多个非凸测试函数上的实证研究,我们发现该方法在遗憾值和收敛速度方面优于许多现有的状态-of-the-art方法。
Oct, 2023