Oct, 2023

一个在嘈杂观测下修正的期望改进获得函数

PDF
TL;DR我们提出了一种改进的 EI 方法，通过引入高斯过程模型提供的协方差信息，修正了传统的 EI 公式，以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明，在黑盒优化的基准函数和神经网络模型压缩的参数搜索中，我们提出的方法在存在噪声观测时能够胜过 EI 方法。
sequential maximizationexpected improvementnoisy observationsbayesian optimizationacquisition function
发现论文，激发创造
  • 贝叶斯优化中对预期改进的意外改进

    我们提出了一种名为 LogEI 的新型收敛函数家族，其成员在数值优化方面比标准收敛函数更容易操作，能够显著提升优化性能，并与最新的收敛函数表现相媲美或超越，突显了数字优化在文献中的被低估作用。

    Oct, 2023

  • 贝叶斯优化的收购函数的本地优化器

    本文介绍了贝叶斯优化的方法，通过建模替代函数和最大化收购功能来确定下一步查询的位置，同时考虑三种流行的收购功能的局部优化器的性能分析，并引入允许本地优化方法从多个不同的起始条件开始的分析，数值实验证实了我们的理论分析的有效性。

    Jan, 2019

  • 贝叶斯优化中的收集函数最大化

    贝叶斯优化是一种采样高效的全局优化方法，采用获得函数（采购函数）来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数，证明其可进行梯度优化；我们还确定了一类通用的采购函数，包括 EI 和 UCB，并证明我们可以使用贪心算法对其进行优化。

    May, 2018

  • 改进预期改进算法

    研究 EI 算法的性质及其在贝叶斯优化中的表现。一种简单的修改 EI 算法的方法可以得到渐近最优的结果，并比标准的 EI 算法性能高一个数量级。

    May, 2017

  • 函数网络的贝叶斯优化

    本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法，通过利用网络中的中间输出信息，实现了比标准方法更高的查询效率和渐进一致性，并在多个合成和实际问题中表现出优异性能。

    Dec, 2021

  • 收益函数的参数化技巧

    本文研究了贝叶斯优化中的采集函数建立方法，将多种常见采集函数转化为高斯积分以求优，最终用 Monte Carlo 估算器通过该 reparameterized 方法实现了高效并行优化选择。

    Dec, 2017

  • 变分熵搜索用于调整预期改进

    通过变分推理（VI）的方法，将 Expected Improvement（EI）视为最大值熵搜索（MES）的特例，发展了变分熵搜索（VES）方法和 VES-Gamma 算法，将信息论概念融入 EI 中，展示了 VES-Gamma 在贝叶斯优化中的理论和实践效用。

    Feb, 2024

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 多点期望改进法在最优批量设计中的应用

    本文借鉴目前在多点预期收益（Expected Improvement，EI）准则上的最新工作，从 EI 的梯度角度出发，推导出一种闭合表达式，旨在利用基于梯度的上升算法，方便 EI 的最大化，并显示了在应用中的实质性计算节省。 结合基于 UCB 的起始设计和基于梯度的 EI 本地优化，在分布式高斯过程优化的批量设计中最终呈现出一个可行的选择。

    Mar, 2015