用大型语言模型（LLM）进行演化代码的算法最近才出现在遗传编程（GP）领域中。我们提出了 LLM GP，这是一种基于 LLM 的形式化演化算法，旨在演化代码。与 GP 类似，它使用进化算子，但其设计和实现与 GP 截然不同，因为它利用了 LLM 的提示和 LLM 的预训练模式匹配和序列完成能力。我们还提供了 LLM GP 的演示级变体及其代码。通过涵盖从形式到实践的算法，我们涵盖了设计和 LLM 使用的考虑因素，以及使用 LLM 进行遗传编程时出现的科学挑战。

Jan, 2024

通过利用大型语言模型的指导进化框架，研究证明了机器学习模型的自主进化和增强设计的潜力。

Mar, 2024

本文介绍了一种协作设计框架，将交互进化和大型语言模型相结合，模拟典型的人类设计过程，并在三个远程人类设计师的游戏设计任务中对该框架进行了评估。

Feb, 2023

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

May, 2023

利用知识图谱提升大型语言模型的编辑能力，通过图结构反映编辑过程中的关联知识变化，有效改善后编辑语言模型在处理编辑知识时的泛化能力。

Feb, 2024

利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

Jan, 2024

本文提出了将自然语言编程描述翻译为正确代码修改的任务 NL2Fix，为此引入了包含高级 Bug 修复描述的 Defects4J-NL2Fix 数据集，并对多种最先进的 LLMs 进行了实证评估，结果表明这些 LLMs 能够对 64.6% 的错误生成合理的修复，并且最佳 LLM 技术在此基准测试中可以达到 21.20% 的 top-1 和 35.68% 的 top-5 精度。

Apr, 2023

评估预训练的大型语言模型（LLMs）在复制开发人员在代码审查评论中传统执行的任务方面的效果，通过比较它们生成的修补程序集与相同代码库的人工生成的修补程序集的历史数据，来确定 LLMs 的反馈的准确性、相关性和深度，从而评估它们支持开发人员应对代码审查评论的准备程度。

Apr, 2024

演化计算（EC）是一种强大的优化算法，已在各个领域得到应用。大型语言模型（LLMs）的出现不仅改变了自然语言处理，还将其能力扩展到各个领域。通过利用 LLMs 的丰富知识和自适应能力，我们提供了一个前瞻性的概述，介绍了 LLMs 对 EC 可能带来的改进，重点关注算法本身、种群设计和其他增强措施。这为 LLMs 和 EC 交叉研究的未来方向提供了一个有希望的方向。

May, 2024