Apr, 2024

高维贝叶斯优化的期望坐标改进

PDF
TL;DR本研究提出了一种用于高维贝叶斯优化的期望坐标改进准则，该方法通过选择具有最高期望坐标改进值的坐标进行优化，逐渐覆盖所有坐标，从而有效解决了高维贝叶斯优化中凸函数选择的问题，并在数值实验中展现出优于传统贝叶斯优化和五种先进高维贝叶斯优化算法的竞争性结果。
bayesian optimizationhigh-dimensionalexpected coordinate improvementinfill selectionalgorithm
发现论文，激发创造
  • 贝叶斯优化中对预期改进的意外改进

    我们提出了一种名为 LogEI 的新型收敛函数家族，其成员在数值优化方面比标准收敛函数更容易操作，能够显著提升优化性能，并与最新的收敛函数表现相媲美或超越，突显了数字优化在文献中的被低估作用。

    Oct, 2023

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 针对并行多目标贝叶斯优化的可微分期望超体积改进方法

    本文利用编程模型和硬件加速，提出了 q-Expected Hypervolume Improvement (qEHVI) 算法，使得计算多目标贝叶斯优化的探索函数能够适用于平行、受限制的计算情况，并通过自动微分方法，一个精确的求解 MC 积分误差的加速器来计算探索函数的性能和效果进行了实证研究。

    Jun, 2020

  • 改进预期改进算法

    研究 EI 算法的性质及其在贝叶斯优化中的表现。一种简单的修改 EI 算法的方法可以得到渐近最优的结果，并比标准的 EI 算法性能高一个数量级。

    May, 2017

  • 一个在嘈杂观测下修正的期望改进获得函数

    我们提出了一种改进的 EI 方法，通过引入高斯过程模型提供的协方差信息，修正了传统的 EI 公式，以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明，在黑盒优化的基准函数和神经网络模型压缩的参数搜索中，我们提出的方法在存在噪声观测时能够胜过 EI 方法。

    Oct, 2023

  • 多点期望改进法在最优批量设计中的应用

    本文借鉴目前在多点预期收益（Expected Improvement，EI）准则上的最新工作，从 EI 的梯度角度出发，推导出一种闭合表达式，旨在利用基于梯度的上升算法，方便 EI 的最大化，并显示了在应用中的实质性计算节省。 结合基于 UCB 的起始设计和基于梯度的 EI 本地优化，在分布式高斯过程优化的批量设计中最终呈现出一个可行的选择。

    Mar, 2015

  • 利用区间分解算法高效计算预期超体积改进值

    该文章提出了一种基于切片分解技术的高效算法，能够在多目标优化中准确计算期望超体积改进值，达到了渐近最优的时间复杂度，并将此分解技术应用到概率提升计算中。

    Apr, 2019

  • 基于贝叶斯优化的迭代最近点初始化（BO-ICP）

    本文提出了一种基于贝叶斯优化的新方法，以查找关键的初始 ICP 变换，主要关注于初始转换的选择，是所有基于 ICP 的方法的起点。通过在流行数据集上运行实验，我们展示了这种方法在给定相似计算时间时优于最先进的方法，并且与 ICP 的其他改进兼容。

    Apr, 2023

  • 变分熵搜索用于调整预期改进

    通过变分推理（VI）的方法，将 Expected Improvement（EI）视为最大值熵搜索（MES）的特例，发展了变分熵搜索（VES）方法和 VES-Gamma 算法，将信息论概念融入 EI 中，展示了 VES-Gamma 在贝叶斯优化中的理论和实践效用。

    Feb, 2024

  • 贝叶斯优化教程

    本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

    Jul, 2018