深入理解大型语言模型在自动启发式设计中的进化搜索重要性
利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。
Nov, 2023
我们用大型语言模型结合进化计算范式提出了一种新的算法进化（AEL）框架，用于自动算法设计，并在旅行商问题中使用AEL设计了引导算法。实验证明，AEL设计的引导算法在相同迭代预算下优于人工设计的引导算法，标志着自动算法设计的新纪元的出现。
Jan, 2024
用大型语言模型（LLM）进行演化代码的算法最近才出现在遗传编程（GP）领域中。我们提出了LLM GP，这是一种基于LLM的形式化演化算法，旨在演化代码。与GP类似，它使用进化算子，但其设计和实现与GP截然不同，因为它利用了LLM的提示和LLM的预训练模式匹配和序列完成能力。我们还提供了LLM GP的演示级变体及其代码。通过涵盖从形式到实践的算法，我们涵盖了设计和LLM使用的考虑因素，以及使用LLM进行遗传编程时出现的科学挑战。
Jan, 2024
基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为LLM增强进化优化和EA增强LLM两个方面，并介绍了一些整合方法来论证在各种应用场景中LLMs与EAs的融合。这篇论文是围绕LLMs时代的EA研究的首个综合综述，为了解和利用LLMs与EAs之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。
Jan, 2024
本文阐述了预训练的大型语言模型（LLMs）和进化算法（EAs）之间的强一致性，包括多个一对一的关键特性：记号嵌入和基因型-表现型映射，位置编码和适应度塑形，位置嵌入和选择，注意力和交叉，前馈神经网络和突变，模型训练和参数更新，以及多任务学习和多目标优化。在这一一致性视角下，分析了现有的耦合研究，包括进化微调和LLM增强型EAs。借助这些见解，我们概述了未来将LLMs和EAs耦合的基本研究路线图，并强调了其中的关键挑战。这种一致性不仅揭示了LLMs背后的进化机制，还促进了接近或超越生物机构的发展的进化人工智能代理的发展。
Jan, 2024
利用大型语言模型的Language Hyper-Heuristics和Reflective Evolution实现设计自动化，通过黑盒COP评估表明生成的启发式算法可以超越人类设计和神经求解器，在复杂和新颖的实际应用中具备潜力。
Feb, 2024
使用 GPT-4 这种大型自然语言模型的新型 LLMEa (Large Language Model Evolutionary Algorithm) 框架能够自动生成和优化算法，我们通过在五维黑盒优化基准 (BBOB) 上的测试结果展示了该框架的可行性，并为进一步的算法自动生成和优化指明了未来的方向。
May, 2024
本研究解决了当前大型语言模型（LLMs）在代码生成中反复交互带来的高成本和时间消耗问题。提出了“进化提示工程”（EPiC）的方法，利用轻量级的进化算法优化原始提示，以生成高质量的代码，且与LLM的交互最小化。评估结果显示，EPiC在性价比上优于所有基准模型。
Aug, 2024
本研究针对启发式设计在搜索与优化问题中的局限性，提出将启发式搜索建模为多目标优化问题，考虑效率与可扩展性等实际需求。通过首次提出基于大型语言模型的多目标启发式搜索框架MEoH，该框架在单次运行中产生多种精英启发式，显著提升效率并拓展启发式设计的可能性，展示了更优的性能与选择空间。
Sep, 2024