Transformer 神经过程结合端到端 Meta-Bayesian 优化

May, 2023

Transformer 神经过程结合端到端 Meta-Bayesian 优化

End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes

Alexandre Maraval, Matthieu Zimmer, Antoine Grosnit, Haitham Bou Ammar

TL;DR该论文提出了一种基于元学习的贝叶斯优化框架，并利用神经过程和转换器结构学习收购函数，通过强化学习来解决元数据缺乏标签问题，最终在多种领域的实验中取得了最先进的效果。

Abstract

Meta-Bayesian optimisation (meta-BO) aims to improve the sample efficiency of Bayesian optimisation by leveraging data from related tasks. While previous methods successfully meta-learn either a surrogate model or an acquisition function independently, joint training of both components remains an open challenge. This paper proposes the first end-to-end diffe

meta-bayesian optimization neural processes transformer architectures reinforcement learning regret

发现论文，激发创造

MALIBO: 元学习用于无似然贝叶斯优化

提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

Jul, 2023

贝叶斯优化中的迁移学习元学习获取函数

本文提出了一种基于元学习和高斯过程的贝叶斯优化具有自定义优化器的方法，通过将来自相关任务的信息进行转移学习，实现对目标函数的数据高效优化。

Apr, 2019

RTDK-BO：具有增强的 Transformer 深度核函数的高维贝叶斯优化

本研究结合了深度内核学习和基于注意力机制的 Transformer 模型，通过元学习来改进高斯过程（GP）代理模型的建模能力，并结合连续的软 Actor-Critic 强化学习训练的学习采集函数来辅助探索，从而在连续高维优化问题中取得了最先进的结果。

Oct, 2023

可证明的强鲁棒性元贝叶斯优化

本文介绍了两种可扩展且在元学习中具有稳健性的算法，它们是 “稳健元高斯过程 - 置信上界”（RM-GP-UCB）和 “稳健元高斯过程 - 汤普森抽样”（RM-GP-TS），两者均具有渐进无遗憾性。我们同时优化经过在线学习分配给个别任务的权重来减弱不同任务的影响，从而进一步增强稳健性。实证评估表明，在各种应用中，RM-GP-UCB 表现出有效和一致的性能，而尽管 RM-GP-TS 在理论和实践中都不如 RM-GP-UCB 稳健，但在一些具有较少不同任务的场景中表现具有竞争力且更具计算效率。

Jun, 2022

基于模型的元强化学习方法：变压器和树搜索

通过模型学习和在线计划，基于 Transformer 架构的模型算法在元强化学习问题的符号 Alchemy 环境中展示出比先前应用的基于模型无关的强化学习方法更好的性能，揭示了基于模型的方法在元学习的探索和利用方面的相关性和变现出复杂动态的 Transformer 架构的效率。

Aug, 2022

元强化学习和贝叶斯优化设计生物序列

本文通过 MetaRLBO，提出了一种对于生物序列的加速设计方法，使用 Meta-Reinforcement Learning 训练自回归生成模型，以 Bayesian Optimization 为辅助选择出有前途的序列，获得较强的鲁棒性和相对具有竞争力的结果。

Sep, 2022

基于贝叶斯优化和最优传输的神经网络自动架构搜索

本文提出了一种名为 NASBOT 的基于高斯过程的 BO 框架，用于神经结构搜索，通过计算神经网络结构空间中的距离度量，取得了比其他替代方法更好的性能，在多层感知器和卷积神经网络的交叉验证模型选择任务中得到了证实。

Feb, 2018

多元异构数据上自带核学习和 Transformer 预训练的高效贝叶斯优化

本文提出了一种简单的方法来预训练一个代理模型，该模型是一个高斯过程，其核函数定义在从先前任务得到的深度特征学习的变压器编码器的数据集上，用于解决可能具有异构输入空间的先前任务。此外，我们还提供了一种简单而有效的混合初始化策略，用于未见过的输入变量对应的输入标记，从而加速新任务的收敛。对合成和真实基准问题的实验表明，我们提出的预训练和迁移 BO 策略相比现有方法更加有效。

Aug, 2023

自适应贝叶斯线性回归在自动化机器学习中的应用

本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。

Apr, 2019

RL$^3$: 通过 RL 内外的 RL$^2$ 提升元强化学习

本文提出了一种 RL$^3$ 算法，该算法将 Task-specific action-values 作为 Traditional RL 学到的输入，并通过将 Traditional RL 和 Meta-RL 组合来在 Long-horizon 和 Out-of-distribution 任务中获得更高的累积回报。

Jun, 2023