EvoMerge: 大规模语言模型的神经进化
本研究提出了一种名为 Evolver 的知识融合方法,它可以将不同语言模型的权重进行集成,通过进化算法生成新的模型并与父模型进行评估,达到在不同数据领域通用且性能优越的目的,这种方法与现有模型合并框架无缝集成,为模型增强提供了一种多功能工具。
Jun, 2024
大型语言模型(LLMs)具备黑箱优化任务的潜力,可以通过 least-to-most 排序的提示策略提供演化优化算法,称为 EvoLLM,从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明,通过对先前收集的教师优化轨迹进行指令微调,能够灵活地提高 EvoLLM 的性能。
Feb, 2024
基于大型语言模型(LLMs)和进化算法(EAs)的优势和互补性,本文提出了一篇综合综述和展望性的论文,将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面,并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述,为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础,并提供了挑战和未来方向的指导。
Jan, 2024
本文介绍了一种协作设计框架,将交互进化和大型语言模型相结合,模拟典型的人类设计过程,并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。
Feb, 2023
利用大型语言模型进行算法进化,能够自动生成优化算法,减少人工专家和领域知识的需求,在解决推销员旅行问题方面表现优异,具有出色的可伸缩性,与先前的利用语言模型作为搜索操作符的尝试大不相同。
Nov, 2023
通过连接大型语言模型和进化算法,本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt,极大地提升了语言理解和生成任务中大型语言模型的表现,并展示了语言模型与传统算法结合的协同效应。
Sep, 2023
利用大型语言模型(LLMs)的世界知识和推理能力,本研究提出了一种反馈循环机制,有效地调整进化策略(ES)参数,并通过调整 ES 参数的迭代循环过程,演示了利用 LLMs 改进 ES 算法性能的可行性。
May, 2024
演化计算(EC)是一种强大的优化算法,已在各个领域得到应用。大型语言模型(LLMs)的出现不仅改变了自然语言处理,还将其能力扩展到各个领域。通过利用 LLMs 的丰富知识和自适应能力,我们提供了一个前瞻性的概述,介绍了 LLMs 对 EC 可能带来的改进,重点关注算法本身、种群设计和其他增强措施。这为 LLMs 和 EC 交叉研究的未来方向提供了一个有希望的方向。
May, 2024
利用大型语言模型进行软件模型演化的研究,探索了大型语言模型在软件工程中支持软件模型演化的潜力,通过使用模拟模型仓库进行的实验评估,发现大型语言模型在软件模型演化方面有很大的潜力,并值得进一步探索。
Dec, 2023