大型语言模型作为进化策略

Feb, 2024

Large Language Models As Evolution Strategies

Robert Tjarko Lange, Yingtao Tian, Yujin Tang

TL;DR大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Abstract

Large Transformer models are capable of implementing a plethora of so-called in-context learning algorithms. These include gradient descent, classification, sequence completion, transformation, and improvement. In this work, we investigate whether large language models (LLMs), which ne

large language models black-box optimization evolutionary optimization algorithms evollm teacher algorithm information

发现论文，激发创造

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

大语言模型时代的进化计算：调查与路线图

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024

大型语言模型用于进化策略调优

利用大型语言模型（LLMs）的世界知识和推理能力，本研究提出了一种反馈循环机制，有效地调整进化策略（ES）参数，并通过调整 ES 参数的迭代循环过程，演示了利用 LLMs 改进 ES 算法性能的可行性。

May, 2024

连接大型语言模型与进化算法产生强大的提示优化器

通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。

Sep, 2023

使用大型语言模型的算法演进

利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

Nov, 2023

通过大型语言模型探索进化计算的改进

演化计算（EC）是一种强大的优化算法，已在各个领域得到应用。大型语言模型（LLMs）的出现不仅改变了自然语言处理，还将其能力扩展到各个领域。通过利用 LLMs 的丰富知识和自适应能力，我们提供了一个前瞻性的概述，介绍了 LLMs 对 EC 可能带来的改进，重点关注算法本身、种群设计和其他增强措施。这为 LLMs 和 EC 交叉研究的未来方向提供了一个有希望的方向。

May, 2024

大型语言模型用于多目标进化优化

使用预训练的大型语言模型（LLM）设计的多目标进化算法（MOEA）运算符显示出潜在的优势，并能在不同模式和设置下具有稳健的泛化性能。

Oct, 2023

LLM 引导演化：模型升级的自动化

通过利用大型语言模型的指导进化框架，研究证明了机器学习模型的自主进化和增强设计的潜力。

Mar, 2024

基础模型在黑盒优化中的应用：优势、挑战和未来发展方向

庞大的语言模型 (Large Language Models) 已经在机器学习研究领域引发了一股创新浪潮，在强化学习、机器人学和计算机视觉等多个领域产生了实质性影响。然而，基于黑箱优化的实验设计领域受到的这种范式转变影响较小，尽管将 LLM 与优化相结合呈现出一个独特而广泛的探索空间。本文呈现了关于基于序列的基础模型构成黑箱优化领域的框架，并组织了这些模型与先前文献的关系。我们讨论了基础语言模型能够革新优化的最有前景的方式，包括利用自由文本中蕴含的大量信息来丰富任务理解、利用高度灵活的序列模型例如 Transformers 来设计出更优的优化策略，并提高对以前未见的搜索空间的性能预测。

May, 2024

ChatGPT 和其他大型语言模型作为在线互动协作游戏设计的进化引擎

本文介绍了一种协作设计框架，将交互进化和大型语言模型相结合，模拟典型的人类设计过程，并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。

Feb, 2023