Mar, 2020

基于空间扭曲的贝叶斯优化中融入专家先验知识

PDF
TL;DR本文提出了一种利用先前知识预测优化函数最优解的方法，在高概率区域扩展搜索空间，低概率区域收缩搜索空间的基础上，将先验分布融入高斯过程的函数模型中，通过重新定义内核矩阵适用于任何采集函数的无偏方法，优于标准贝叶斯优化方法在优化多个基准函数和两个机器学习算法中的表现。
bayesian optimisationprior knowledgefunction optimumgaussian processacquisition function
发现论文，激发创造
  • 输入扭曲用于非平稳函数的贝叶斯优化

    本文介绍一种基于 Beta 累积分布函数的自适应学习输入空间的方法，针对多任务贝叶斯优化问题，将多个任务共同映射为稳定的空间，实验结果表明，该方法可以大幅提升全局寻优的效率和准确性。

    Feb, 2014

  • 预训练对贝叶斯优化的帮助

    研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

    Jul, 2022

  • 预训练高斯过程用于贝叶斯优化

    本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

    Sep, 2021

  • 基于函数先验的贝叶斯优化引导的高效黑盒对抗攻击

    本研究提出了一种先验引导贝叶斯优化算法，用于黑盒对抗攻击，通过在查询 - based 攻击中结合白盒模型的梯度来改进查询效率。实验证明，与当前黑盒攻击算法相比，该算法在减少查询次数和提高攻击成功率方面具有明显优势。

    May, 2024

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 深度贝叶斯分类的函数空间正则化

    文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

    Jul, 2023

  • 具有形状先验的贝叶斯函数优化

    本研究提出一种基于 Bayesian 优化的框架用于控制变量的功能优化问题，并使用 Bernstein 多项式基进行控制函数的表示，通过动态调整多项式次数的方法，融合形状的先验信息，对深度网络学习率调度的优化和短聚酯纤维设计问题取得了良好的效果。

    Sep, 2018

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 非齐方树状贝叶斯优化

    本研究提出了一种新的优化方法，使用具有层次参数学习的先验模型来解决贝叶斯优化中非平稳性问题，大大改善了自动机器学习和采矿勘探等众多领域中的表现。

    Oct, 2014

  • 用户指导贝叶斯优化的通用框架

    ColaBO 是首个贝叶斯规范框架，用于将超出典型内核结构的先前信念整合到优化过程中，能够在准确的先前信息下大幅加速优化，并在误导性信息下保持大致默认性能。

    Nov, 2023