信息几何优化的目标改进
本研究提出了一种基于信息几何学的优化方法,使用自适应的、时变的、基于分位数的目标函数变换进行自然梯度上升。该方法不假设目标函数是可优化的,并通过时间离散化产生具体算法。理论上显示该算法最小化了多样化的损失,初步实验也展示了该算法具有在单次运行中做多次全局探索的能力。
Jun, 2011
本文提出了基于 Kriging 的最小化器熵作为顺序选择评估点的新标准,它考虑到了期望从新评估中获得的最小值的信息增益。将基于条件模拟的标准近似,并插入到类似于 Efficient Global Optimization(EGO)算法的算法中。实验结果表明,与文献中的一种参考标准 expected improvement 相比,我们的标准可以显著地减少评估次数。最后,本文将方法扩展到包括噪声干扰的鲁棒优化问题。
Nov, 2006
Gradient Information Optimization(GIO)是一种高度可扩展的、任务不可知的数据选择方法,可在仅需要一小组代表目标分布的(未标记的)示例的情况下,训练具有优秀结果的模型。
Jun, 2023
我们开发了一种基于多维积分的概率方法,用于求解全局最优解,该方法不需要梯度信息,具有收敛性和适用于任意维度的特性。通过在多个非凸测试函数上的实证研究,我们发现该方法在遗憾值和收敛速度方面优于许多现有的状态 - of-the-art 方法。
Oct, 2023
本文介绍了 GIBBON 作为一种通用的贝叶斯优化方法,它提供了一种新的信息增益近似方法,可解决包括噪声、多保真度和批量优化在内的一系列 BO 问题,并且是目前支持非欧氏空间的高性能但计算量轻的批量 BO 获取函数,同时在各种综合测试中表现优异。
Feb, 2021
在高维任务中,我们介绍了一个完全不变性导向的进化策略算法 InvIGO,并通过在多维高斯函数上的示例验证了它的优势,强调了它在采样效率方面相对于贝叶斯优化和其他进化策略算法的潜力。
Jan, 2024
本文提出了五种多目标贝叶斯全局优化的概率提高算法 (q-PoI),适用于多个解点的批量评估,并针对这些算法的位置依赖行为进行了探讨,并通过实证实验证明了两种贪婪型的 q-PoIs 在低维问题上的有效性以及两种探索性的 q-PoIs 在高维问题上的有效性。
Aug, 2022
本文分析使用高斯过程进行序列全局优化的一种通用算法方案,我们得出的累积遗憾的上限较之前已知的算法(如 GP-UCB)有指数倍的改善。我们还介绍了一种新颖的高斯过程互信息算法(GP-MI),它显著进一步提高了累积遗憾的上限。我们通过与自然竞争者 GP-UCB 和期望改进算法在合成和实际任务上的效率来证实此算法的有效性。
Nov, 2013
针对黑盒函数优化问题,本文提出了一种新算法,通过价值信息分析决策,处理了由模型差异和噪音观测所带来的不确定性,并在实验中验证了其相对其他先进技术具有更高的目标价值和更少的探索成本。
Mar, 2016