Jun, 2023

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

PDF
TL;DR本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。
gaussian processbayesian optimizationhyperparameter estimationmulti-armed banditsub-linear convergence
发现论文，激发创造
  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 预训练高斯过程用于贝叶斯优化

    本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

    Sep, 2021

  • 高维贝叶斯优化的标准高斯过程

    对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化（BO）在很多合成和真实世界基准问题中表现出色，在高维优化上经常比专门设计的现有 BO 方法更出色，同时具备适应各种目标函数结构的鲁棒性，单纯使用最大似然估计即可获得有前景的优化性能，不需要复杂的马尔可夫链蒙特卡洛采样，因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。

    Feb, 2024

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 未知高斯过程超参数的贝叶斯优化理论分析

    在随机环境下，通过使用高斯过程和未知核超参数的贝叶斯优化方法，我们得出了一个对于预期改善收集函数和亚高斯观察噪声的累积遗憾界限，为我们提供了关于如何设计超参数估计方法的指导，并通过简单模拟说明了遵循这些准则的重要性。

    Jun, 2014

  • 贝叶斯框架下的黑箱模型优化神经过程

    本文提出了一种称为神经过程贝叶斯优化的通用黑盒模型优化算法，通过使用神经过程作为代理模型来提高效率和准确性，在功率系统参数优化问题和七个基准贝叶斯优化问题上的比较均表明该算法的性能优于其他四个基准算法。

    Apr, 2021

  • 高维输出的贝叶斯优化

    该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

    Jun, 2021

  • 高斯过程和贝叶斯优化在金融应用中的作用

    本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

    Mar, 2019