大型语言模型用于增强贝叶斯优化

ICLRFeb, 2024

大型语言模型用于增强贝叶斯优化

Large Language Models to Enhance Bayesian Optimization

Tennison Liu, Nicolás Astorga, Nabeel Seedat, Mihaela van der Schaar

TL;DRLLAMBO 是一种将大型语言模型（LLM）与贝叶斯优化（BO）结合的方法，通过在自然语言中提出有前景的解决方案，利用上下文理解、少样本学习能力和 LLM 的领域知识来增强基于模型的 BO 的各个组件，特别是在稀疏的观测阶段，LLAMBO 在零样本热启动、代理模型和候选样本的改进方面表现出有效性。

Abstract

bayesian optimization (BO) is a powerful approach for optimizing complex and expensive-to-evaluate black-box functions. Its importance is underscored in many applications, notably including hyperparameter tuning,

bayesian optimization llambo large language models hyperparameter tuning surrogate modeling

发现论文，激发创造

ADO-LLM: 基于上下文学习的模拟设计贝叶斯优化

ADO-LLM 整合了大型语言模型与贝叶斯优化用于模拟设计优化，利用大型语言模型的领域知识并结合贝叶斯优化的多样性和探索能力实现了设计效率和效果的显著提升。

Jun, 2024

利用大型语言模型进行超参数优化

使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数进行处理，LLMs 输出该超参数，超越了现有 HPO 方法的能力。我们的研究结果表明，LLMs 是提高传统超参数优化中效率的一种有前景的工具。

Dec, 2023

对于材料探索，理性看待 LLMs：它们是否适用于分子的贝叶斯优化？

大型语言模型在分子空间中进行 Bayesian 优化的实验表明，只有通过预训练或领域特定数据的微调，才能使 LLMs 对于分子的 Bayesian 优化具有实用性。

Feb, 2024

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

BLoB：大型语言模型的贝叶斯低维度适应

大语言模型（LLMs）在推断过程中常常过于自信，尤其是当它们适应具有有限数据的下游领域特定任务时。本文通过在 LLMs 训练后采用近似贝叶斯估计的方法来解决这个问题，从而使其能够量化不确定性。然而，这种训练后方法的性能受训练期间学习的参数严重限制。在本文中，我们超越了训练后的贝叶斯化，并提出了一种名为贝叶斯低秩适应的反向传播（BLoB）的算法，该算法在整个微调过程中持续和联合调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在广义化与不确定性估计方面的有效性，同时在分布内和分布外数据上进行评估。

Jun, 2024

MALIBO: 元学习用于无似然贝叶斯优化

提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

Jul, 2023

大型语言模型用于自然语言人机协作粒子加速器调谐

利用大型语言模型 (LLMs) 来自动调谐粒子加速器的能力，通过自然语言提示将粒子加速器的子系统调谐到最佳状态，并与贝叶斯优化 (BO) 和强化学习训练优化 (RLO) 算法进行性能比较。该研究的目标是加快自动调谐算法在粒子加速器的日常操作中的实际应用。

May, 2024

大规模语言模型指令调优的超参数优化

研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。

Dec, 2023

大型语言模型作为进化策略

大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

LLM 增强的贝叶斯优化用于高效模拟布局约束生成

该论文介绍了一种名为 LLANA 的框架，利用大型语言模型来增强 Bayesian Optimization（BO）技术，通过利用 LLM 的 few-shot learning 能力更高效地生成与模拟设计相关的参数约束，从而实现与最先进的 BO 方法相媲美的性能，并且通过 LLM 的文本理解和学习效率更有效地探索模拟电路设计空间。

Jun, 2024