Jan, 2022

通过多次评估少量独特候选项扩展高斯过程优化

PDF
TL;DR通过限制历史点的数量，经过改进后的高斯过程后验可以用于更有效的黑盒优化，这对高转换成本的 GP-Opt 实际应用，如湿实验中的化学物品切换和超参数优化中的数据 / 模型加载特别有用。
gaussian processactive learningblack-box optimizationgp-ucbgp-ei
发现论文，激发创造
  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 使用高斯过程在 Bandit 环境下进行最优化估计

    本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

    Oct, 2015

  • 高维输出的贝叶斯优化

    该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

    Jun, 2021

  • 高斯过程在对抗鲁棒优化中的应用

    考虑高斯过程优化问题，在最大化函数时增加健壮性，提出基于置信界限的 StableOpt 算法，该算法在真实数据集上的实验表明可以成功找到稳定的极大值点。

    Oct, 2018

  • 具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

    本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

    Jun, 2023

  • 基于行列式点过程的批量高斯过程贝叶斯优化

    提出了一种使用决策点过程 (DPPs) 对批处理进行建模的新方法，使得机器学习中的贝叶斯优化，特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明，基于 DPP 采样的方法优于现有技术。

    Nov, 2016

  • 提高高维贝叶斯优化中的样本效率与 MCMC

    基于马尔可夫链蒙特卡罗方法，我们提出了一种新的算法来从近似后验中高效采样，该算法在高维度的顺序优化中表现优于现有方法。

    Jan, 2024

  • 高效可拓展的高斯过程元学习

    在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

    Dec, 2023

  • 高维高斯过程的联合优化与变量选择

    本文利用高维高斯过程模型，结合变量选择和优化，解决了高维、非凸函数的优化问题，并提供了相关性能保证和实证研究结果。

    Jun, 2012