Jun, 2020

针对并行多目标贝叶斯优化的可微分期望超体积改进方法

PDF
TL;DR本文利用编程模型和硬件加速，提出了 q-Expected Hypervolume Improvement (qEHVI) 算法，使得计算多目标贝叶斯优化的探索函数能够适用于平行、受限制的计算情况，并通过自动微分方法，一个精确的求解 MC 积分误差的加速器来计算探索函数的性能和效果进行了实证研究。
multi-objective bayesian optimizationexpected hypervolume improvementqehviparallel evaluationmc integration
发现论文，激发创造
  • 具有预期超体积改进的多噪声目标并行贝叶斯优化

    提出了一种新的采样函数 NEHVI，它通过在 Pareto 前沿上集成期望超体积改进准则的不确定性，从而克服了噪声干扰的限制，特别是在大批量优化环境中表现出卓越的性能。

    May, 2021

  • 贝叶斯优化中对预期改进的意外改进

    我们提出了一种名为 LogEI 的新型收敛函数家族，其成员在数值优化方面比标准收敛函数更容易操作，能够显著提升优化性能，并与最新的收敛函数表现相媲美或超越，突显了数字优化在文献中的被低估作用。

    Oct, 2023

  • 高斯 - 埃尔米特积分的期望超体积改进的高效近似

    使用 Gauss-Hermite 积分作为新的求解多目标优化问题的方法，比起传统的蒙特卡罗模拟方法，准确性更高，且可以处理两个或者多个相关联的目标变量。

    Jun, 2022

  • 利用区间分解算法高效计算预期超体积改进值

    该文章提出了一种基于切片分解技术的高效算法，能够在多目标优化中准确计算期望超体积改进值，达到了渐近最优的时间复杂度，并将此分解技术应用到概率提升计算中。

    Apr, 2019

  • 高维贝叶斯优化的期望坐标改进

    本研究提出了一种用于高维贝叶斯优化的期望坐标改进准则，该方法通过选择具有最高期望坐标改进值的坐标进行优化，逐渐覆盖所有坐标，从而有效解决了高维贝叶斯优化中凸函数选择的问题，并在数值实验中展现出优于传统贝叶斯优化和五种先进高维贝叶斯优化算法的竞争性结果。

    Apr, 2024

  • 变分熵搜索用于调整预期改进

    通过变分推理（VI）的方法，将 Expected Improvement（EI）视为最大值熵搜索（MES）的特例，发展了变分熵搜索（VES）方法和 VES-Gamma 算法，将信息论概念融入 EI 中，展示了 VES-Gamma 在贝叶斯优化中的理论和实践效用。

    Feb, 2024

  • 多点期望改进法在最优批量设计中的应用

    本文借鉴目前在多点预期收益（Expected Improvement，EI）准则上的最新工作，从 EI 的梯度角度出发，推导出一种闭合表达式，旨在利用基于梯度的上升算法，方便 EI 的最大化，并显示了在应用中的实质性计算节省。 结合基于 UCB 的起始设计和基于梯度的 EI 本地优化，在分布式高斯过程优化的批量设计中最终呈现出一个可行的选择。

    Mar, 2015

  • 复合函数的贝叶斯优化

    通过使用多输出高斯过程模型和预期改善在经过修改的非高斯正则先验上进行采样（EI）的有效最大化，本研究提出了一种新方法来优化复合目标函数，该复合目标函数是将一个高昂的黑盒子类函数 h (x) 的向量输出 g (h (x)) 函数与一个廉价函数 g (x) 组合而成。实验结果显示，该方法可以减少简单遗憾值数个数量级，比标准贝叶斯优化方法显着优越。

    Jun, 2019

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 一个在嘈杂观测下修正的期望改进获得函数

    我们提出了一种改进的 EI 方法，通过引入高斯过程模型提供的协方差信息，修正了传统的 EI 公式，以达到在有噪声和无噪声的情况下都具有较好泛化性能的目的。我们的实验证明，在黑盒优化的基准函数和神经网络模型压缩的参数搜索中，我们提出的方法在存在噪声观测时能够胜过 EI 方法。

    Oct, 2023