贝叶斯优化教程

Jul, 2018

A Tutorial on Bayesian Optimization

Peter I. Frazier

TL;DR本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

Abstract

bayesian optimization is an approach to optimizing objective functions that take a long time (minutes or hours) to evaluate. It is best-suited for optimization over continuous domains of less than 20 dimensions, and tolerates stochastic noise in function evaluations. It builds a surrog

bayesian optimization gaussian process regression acquisition functions multi-fidelity optimization multi-task optimization

发现论文，激发创造

贝叶斯多尺度乐观优化

本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

Feb, 2014

材料设计的贝叶斯优化

通过高斯过程回归和贝叶斯优化技术，针对材料设计和发现等高维复杂问题，提出一种基于价值信息分析的预期改进和知识梯度方法，以最少的实验找到优良的材料设计方案。

Jun, 2015

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

高维输出的贝叶斯优化

该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

Jun, 2021

函数网络的贝叶斯优化

本文提出了一种利用高斯过程来建模网络节点并以期望改进作为收获函数的贝叶斯最优化方法，通过利用网络中的中间输出信息，实现了比标准方法更高的查询效率和渐进一致性，并在多个合成和实际问题中表现出优异性能。

Dec, 2021

机器学习算法的实用贝叶斯优化

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

一个考虑输入不确定性的强健多目标贝叶斯优化框架

本研究提出了一种新的贝叶斯优化框架，用于考虑输入不确定性的多目标优化，包括鲁棒性的量化和搜索一个鲁棒的帕累托前沿，并通过数值基准测试证明了其有效性。

Feb, 2022

高斯过程和贝叶斯优化在金融应用中的作用

本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

Mar, 2019

基于仿真的贝叶斯优化

模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

Jan, 2024

基于贝叶斯优化的可持续工艺系统灵活高效设计框架

贝叶斯优化是一种强大的技术，可用于优化噪声大、昂贵难评估的黑箱函数，在科学、工程、经济、制造等领域具有广泛的实际应用。本文概述了贝叶斯优化在下一代过程系统设计中的最新进展、挑战和机遇，并介绍了如何利用高级贝叶斯优化方法更有效地解决这些应用中的重要问题。最后，我们总结了提高概率模型质量、选择下一个样本点的内部优化过程以及利用问题结构提高样本效率方面的挑战和机会。

Jan, 2024