Jan, 2024

利用大型语言模型演化代码

PDF
TL;DR用大型语言模型（LLM）进行演化代码的算法最近才出现在遗传编程（GP）领域中。我们提出了 LLM GP，这是一种基于 LLM 的形式化演化算法，旨在演化代码。与 GP 类似，它使用进化算子，但其设计和实现与 GP 截然不同，因为它利用了 LLM 的提示和 LLM 的预训练模式匹配和序列完成能力。我们还提供了 LLM GP 的演示级变体及其代码。通过涵盖从形式到实践的算法，我们涵盖了设计和 LLM 使用的考虑因素，以及使用 LLM 进行遗传编程时出现的科学挑战。
发现论文，激发创造
  • LLM 引导演化：模型升级的自动化

    通过利用大型语言模型的指导进化框架，研究证明了机器学习模型的自主进化和增强设计的潜力。

    Mar, 2024

  • 使用大型语言模型的算法演进

    利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

    Nov, 2023

  • ChatGPT 和其他大型语言模型作为在线互动协作游戏设计的进化引擎

    本文介绍了一种协作设计框架，将交互进化和大型语言模型相结合，模拟典型的人类设计过程，并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。

    Feb, 2023

  • 大语言模型时代的进化计算：调查与路线图

    基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

    Jan, 2024

  • 通过大型语言模型探索进化计算的改进

    演化计算（EC）是一种强大的优化算法，已在各个领域得到应用。大型语言模型（LLMs）的出现不仅改变了自然语言处理，还将其能力扩展到各个领域。通过利用 LLMs 的丰富知识和自适应能力，我们提供了一个前瞻性的概述，介绍了 LLMs 对 EC 可能带来的改进，重点关注算法本身、种群设计和其他增强措施。这为 LLMs 和 EC 交叉研究的未来方向提供了一个有希望的方向。

    May, 2024

  • 利用大型语言模型增强遗传改造突变

    通过评估大型语言模型在基因改进中作为突变操作的使用，我们发现基于大型语言模型的编辑补丁与标准插入编辑相比，单元测试通过的补丁数量高出 75％，补丁的多样性较低。虽然大量改进的补丁是通过大型语言模型增强的基因改进找到的，但最佳改进补丁是通过标准的基因改进找到的。

    Oct, 2023

  • 大型语言模型作为进化策略

    大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

    Feb, 2024

  • 连接大型语言模型与进化算法产生强大的提示优化器

    通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。

    Sep, 2023

  • 高效引导局部搜索的设计：进化计算与大型语言模型超越人类的实例

    我们用大型语言模型结合进化计算范式提出了一种新的算法进化（AEL）框架，用于自动算法设计，并在旅行商问题中使用 AEL 设计了引导算法。实验证明，AEL 设计的引导算法在相同迭代预算下优于人工设计的引导算法，标志着自动算法设计的新纪元的出现。

    Jan, 2024

  • 大型语言模型用于进化策略调优

    利用大型语言模型（LLMs）的世界知识和推理能力，本研究提出了一种反馈循环机制，有效地调整进化策略（ES）参数，并通过调整 ES 参数的迭代循环过程，演示了利用 LLMs 改进 ES 算法性能的可行性。

    May, 2024