May, 2024

成本敏感的多层次贝叶斯优化及学习曲线外推的迁移

PDF
TL;DR本文研究了基于成本敏感的多保真贝叶斯优化算法用于高效的超参数优化问题，引入了用户预定义的效用函数来描述成本和性能之间的权衡，并提出了一种新的获取函数和停止准则以动态选择每个步骤的最佳配置，并最大程度地提高未来效用，同时自动终止优化过程，通过转移学习提高学习曲线外推方法的样本效率，能够捕捉不同配置之间的相关性，为多保真贝叶斯优化提供合理的代理函数，并在各种学习曲线数据集上验证算法，优于现有基线方法，实现更好的成本和性能的权衡。
cost-sensitive multi-fidelity bayesian optimizationhyperparameter optimizationutility functionacquisition functiontransfer learning
发现论文，激发创造
  • 多保真贝叶斯优化与跨任务可转移最大值熵搜索

    介绍了一种新颖的信息论获取函数，通过实施基于粒子变分贝叶斯更新的共享任务间潜在变量，平衡了对当前任务信息获取需求与收集可迁移到未来任务的信息目标，实验证明，该策略能够显著提高优化效率。

    Mar, 2024

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 基于轨迹的多目标模型重训练超参数优化

    本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。

    May, 2024

  • 超参数调整的实用多保真贝叶斯优化

    本篇论文提出了一种基于知识梯度的多保真度贝叶斯优化方法，能在深度神经网络和大规模核学习的超参数调整方面表现优异，并有效解决了验证误差的计算问题。

    Mar, 2019

  • 一种稳健的逆优化效用学习框架

    使用鲁棒的参数效用学习框架，将用户交互建模为非合作博弈，并通过集成方法扩展来提高预测性能。应用于鼓励用户节能行为的社交游戏实验中，表现出良好的性能。

    Apr, 2017

  • 学习搜索空间以进行贝叶斯优化：超参数迁移学习的另一种视角

    本文提出一种自动设计 BO 搜索空间的方法，通过以前黑盒函数的评估结果，学习搜索空间几何形态，使传统的 BO 方法具有迁移学习属性，加速了各种黑盒优化问题的优化过程，结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。

    Sep, 2019

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

    Aug, 2019

  • 无似然贝叶斯优化的通用配方

    提出了一种基于无似然推断的方法（LFBO），通过直接建模采集功能而不必单独执行概率替代模型上的推断，使 BO 扩展到更广泛的模型和实用程序类别，通过适当地选择实用程序函数（EI），LFBO 在几个实际最优化问题上优于各种最先进的黑匣子优化方法。

    Jun, 2022

  • $π$BO：基于用户信念增强收敛函数的贝叶斯优化方法

    提出了一种基于先验置信度的并将其纳入概率分布中的 PiBO (Bayesian optimization 的改进版)，该算法可用于机器学习中的超参数优化，可以提高其效率并显著减少时间成本。

    Apr, 2022