Oct, 2023

贝叶斯优化中对预期改进的意外改进

PDF
TL;DR我们提出了一种名为 LogEI 的新型收敛函数家族，其成员在数值优化方面比标准收敛函数更容易操作，能够显著提升优化性能，并与最新的收敛函数表现相媲美或超越，突显了数字优化在文献中的被低估作用。
expected improvementbayesian optimizationlogeinumerical optimizationacquisition functions
发现论文，激发创造
  • 针对并行多目标贝叶斯优化的可微分期望超体积改进方法

    本文利用编程模型和硬件加速，提出了 q-Expected Hypervolume Improvement (qEHVI) 算法，使得计算多目标贝叶斯优化的探索函数能够适用于平行、受限制的计算情况，并通过自动微分方法，一个精确的求解 MC 积分误差的加速器来计算探索函数的性能和效果进行了实证研究。

    Jun, 2020

  • 一个在嘈杂观测下修正的期望改进获得函数

    我们提出了一种改进的 EI 方法，通过引入高斯过程模型提供的协方差信息，修正了传统的 EI 公式，以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明，在黑盒优化的基准函数和神经网络模型压缩的参数搜索中，我们提出的方法在存在噪声观测时能够胜过 EI 方法。

    Oct, 2023

  • 改进预期改进算法

    研究 EI 算法的性质及其在贝叶斯优化中的表现。一种简单的修改 EI 算法的方法可以得到渐近最优的结果，并比标准的 EI 算法性能高一个数量级。

    May, 2017

  • 变分熵搜索用于调整预期改进

    通过变分推理（VI）的方法，将 Expected Improvement（EI）视为最大值熵搜索（MES）的特例，发展了变分熵搜索（VES）方法和 VES-Gamma 算法，将信息论概念融入 EI 中，展示了 VES-Gamma 在贝叶斯优化中的理论和实践效用。

    Feb, 2024

  • 高维贝叶斯优化的期望坐标改进

    本研究提出了一种用于高维贝叶斯优化的期望坐标改进准则，该方法通过选择具有最高期望坐标改进值的坐标进行优化，逐渐覆盖所有坐标，从而有效解决了高维贝叶斯优化中凸函数选择的问题，并在数值实验中展现出优于传统贝叶斯优化和五种先进高维贝叶斯优化算法的竞争性结果。

    Apr, 2024

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 贝叶斯优化的收购函数的本地优化器

    本文介绍了贝叶斯优化的方法，通过建模替代函数和最大化收购功能来确定下一步查询的位置，同时考虑三种流行的收购功能的局部优化器的性能分析，并引入允许本地优化方法从多个不同的起始条件开始的分析，数值实验证实了我们的理论分析的有效性。

    Jan, 2019

  • 贝叶斯优化中的收集函数最大化

    贝叶斯优化是一种采样高效的全局优化方法，采用获得函数（采购函数）来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数，证明其可进行梯度优化；我们还确定了一类通用的采购函数，包括 EI 和 UCB，并证明我们可以使用贪心算法对其进行优化。

    May, 2018

  • 利用区间分解算法高效计算预期超体积改进值

    该文章提出了一种基于切片分解技术的高效算法，能够在多目标优化中准确计算期望超体积改进值，达到了渐近最优的时间复杂度，并将此分解技术应用到概率提升计算中。

    Apr, 2019

  • 复合函数的贝叶斯优化

    通过使用多输出高斯过程模型和预期改善在经过修改的非高斯正则先验上进行采样（EI）的有效最大化，本研究提出了一种新方法来优化复合目标函数，该复合目标函数是将一个高昂的黑盒子类函数 h (x) 的向量输出 g (h (x)) 函数与一个廉价函数 g (x) 组合而成。实验结果显示，该方法可以减少简单遗憾值数个数量级，比标准贝叶斯优化方法显着优越。

    Jun, 2019