Apr, 2019

贝叶斯优化中的迁移学习元学习获取函数

PDF
TL;DR本文提出了一种基于元学习和高斯过程的贝叶斯优化具有自定义优化器的方法，通过将来自相关任务的信息进行转移学习，实现对目标函数的数据高效优化。
transfer learningbayesian optimizationmeta-learninggaussian processesdata efficiency
发现论文，激发创造
  • 具备强韧性的贝叶斯优化与强化学习习得的获取函数

    本文介绍了一种基于强化学习技术的数据驱动式采样函数选择策略，称为强化学习辅助贝叶斯优化（RLABO），用于高昂的黑盒优化问题，取得了具有竞争力和鲁棒性的优化效果。

    Oct, 2022

  • 多保真贝叶斯优化与跨任务可转移最大值熵搜索

    介绍了一种新颖的信息论获取函数，通过实施基于粒子变分贝叶斯更新的共享任务间潜在变量，平衡了对当前任务信息获取需求与收集可迁移到未来任务的信息目标，实验证明，该策略能够显著提高优化效率。

    Mar, 2024

  • MALIBO: 元学习用于无似然贝叶斯优化

    提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

    Jul, 2023

  • 贝叶斯优化的迁移学习：综述

    该研究论文介绍基于贝叶斯优化的迁移学习方法，从初始点设计、搜索空间设计、代理模型和获取函数等四个方面总结其方法论和技术细节。同时，论文彰显了该方法在广泛应用中的优点，并提出了未来的研究方向。

    Feb, 2023

  • FunBO：基于 FunSearch 的贝叶斯优化的发现式获取函数

    该论文提出了一种基于大型语言模型的方法 FunBO，可以学习用于函数优化的新的采集函数，并在各种全局优化基准和超参数优化任务中取得竞争性性能。

    Jun, 2024

  • 贝叶斯主动元学习的基本困境

    贝叶斯主动元学习是一种序列最优实验设计的框架，旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题，然而，在某些情况下，贪婪追求传递性知识可以损害可转移参数的估计，引起所谓的负转移。

    Oct, 2023

  • Transformer 神经过程结合端到端 Meta-Bayesian 优化

    该论文提出了一种基于元学习的贝叶斯优化框架，并利用神经过程和转换器结构学习收购函数，通过强化学习来解决元数据缺乏标签问题，最终在多种领域的实验中取得了最先进的效果。

    May, 2023

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 学习搜索空间以进行贝叶斯优化：超参数迁移学习的另一种视角

    本文提出一种自动设计 BO 搜索空间的方法，通过以前黑盒函数的评估结果，学习搜索空间几何形态，使传统的 BO 方法具有迁移学习属性，加速了各种黑盒优化问题的优化过程，结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。

    Sep, 2019

  • 基于学得损失的元学习

    本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。

    Jun, 2019