利用大型语言模型进行超参数优化

Dec, 2023

利用大型语言模型进行超参数优化

Using Large Language Models for Hyperparameter Optimization

Michael R. Zhang, Nishkrit Desai, Juhan Bae, Jonathan Lorraine, Jimmy Ba

TL;DR使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数进行处理，LLMs 输出该超参数，超越了现有 HPO 方法的能力。我们的研究结果表明，LLMs 是提高传统超参数优化中效率的一种有前景的工具。

Abstract

This paper studies using foundational large language models (LLMs) to make decisions during hyperparameter optimization (HPO). Empirical evaluations demonstrate that in settings with constrained →

large language models hyperparameter optimization search budgets random search bayesian optimization

发现论文，激发创造

大型语言模型代理的超参数优化

利用大型语言模型（LLMs）进行自动超参数优化的 AgentHPO 具有较高效率、简化设置过程、增强可解释性和用户信任度，并在性能上超越了人类试验，同时提供可解释的结果。

Feb, 2024

LLMs 是否能配置软件工具

使用大型语言模型来改进软件配置过程，特别是在超参数配置方面，通过识别起始条件和缩小搜索空间，提高效率。在大量实验中发现，LLM 生成的响应的可变性以及基于领域特定关键词的一致行为，揭示了 LLM 在初始化过程和配置优化方面的潜力，但也强调了需要进一步深入研究和实验。

Dec, 2023

元启发式方法与大语言模型联手：走向一种综合优化方法

该论文介绍了一种创新方法，利用 Large Language Models（LLMs）作为模式识别工具来改善元启发式算法，并通过在基于社交网络的组合优化问题中进行测试，证明了该混合方法在解决方案质量方面优于现有的结合机器学习和元启发式算法的最新方法。通过精心设计提示，我们证明了从 LLMs 获得的输出可以用作问题知识，从而提高了结果。最后，我们承认 LLMs 的潜在缺点和限制，并认为进一步研究这方面的研究需要对其进行检验。

May, 2024

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

预训练语言模型微调中超参数优化的实证研究

本文研究了模型微调和超参数优化的关系，并提出了两种一般策略以及一个实验流程，以系统地解决超参数优化在微调预训练语言模型时的失败案例。通过实验，我们发现在更适当的搜索空间和时间预算设置下，超参数优化可以取得成功，但在某些情况下，过拟合仍然存在。

Jun, 2021

LLM 决策能力的敏感性探究：来自提示变异和超参数的洞察

大型语言模型在决策任务中的表现与输入提示和超参数有关，并显示出与人类相似的探索和开发权衡。

Dec, 2023

大型语言模型用于增强贝叶斯优化

LLAMBO 是一种将大型语言模型（LLM）与贝叶斯优化（BO）结合的方法，通过在自然语言中提出有前景的解决方案，利用上下文理解、少样本学习能力和 LLM 的领域知识来增强基于模型的 BO 的各个组件，特别是在稀疏的观测阶段，LLAMBO 在零样本热启动、代理模型和候选样本的改进方面表现出有效性。

Feb, 2024

高效大型语言模型：综述

大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

Dec, 2023

面向优化的大型语言模型

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

大型语言模型用于自然语言人机协作粒子加速器调谐

利用大型语言模型 (LLMs) 来自动调谐粒子加速器的能力，通过自然语言提示将粒子加速器的子系统调谐到最佳状态，并与贝叶斯优化 (BO) 和强化学习训练优化 (RLO) 算法进行性能比较。该研究的目标是加快自动调谐算法在粒子加速器的日常操作中的实际应用。

May, 2024