大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

使用预训练的大型语言模型（LLM）设计的多目标进化算法（MOEA）运算符显示出潜在的优势，并能在不同模式和设置下具有稳健的泛化性能。

Oct, 2023

利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

Nov, 2023

利用大型语言模型（LLMs）的世界知识和推理能力，本研究提出了一种反馈循环机制，有效地调整进化策略（ES）参数，并通过调整 ES 参数的迭代循环过程，演示了利用 LLMs 改进 ES 算法性能的可行性。

May, 2024

演化计算（EC）是一种强大的优化算法，已在各个领域得到应用。大型语言模型（LLMs）的出现不仅改变了自然语言处理，还将其能力扩展到各个领域。通过利用 LLMs 的丰富知识和自适应能力，我们提供了一个前瞻性的概述，介绍了 LLMs 对 EC 可能带来的改进，重点关注算法本身、种群设计和其他增强措施。这为 LLMs 和 EC 交叉研究的未来方向提供了一个有希望的方向。

May, 2024

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数进行处理，LLMs 输出该超参数，超越了现有 HPO 方法的能力。我们的研究结果表明，LLMs 是提高传统超参数优化中效率的一种有前景的工具。

Dec, 2023

该论文介绍了一种创新方法，利用 Large Language Models（LLMs）作为模式识别工具来改善元启发式算法，并通过在基于社交网络的组合优化问题中进行测试，证明了该混合方法在解决方案质量方面优于现有的结合机器学习和元启发式算法的最新方法。通过精心设计提示，我们证明了从 LLMs 获得的输出可以用作问题知识，从而提高了结果。最后，我们承认 LLMs 的潜在缺点和限制，并认为进一步研究这方面的研究需要对其进行检验。

May, 2024

庞大的语言模型 (Large Language Models) 已经在机器学习研究领域引发了一股创新浪潮，在强化学习、机器人学和计算机视觉等多个领域产生了实质性影响。然而，基于黑箱优化的实验设计领域受到的这种范式转变影响较小，尽管将 LLM 与优化相结合呈现出一个独特而广泛的探索空间。本文呈现了关于基于序列的基础模型构成黑箱优化领域的框架，并组织了这些模型与先前文献的关系。我们讨论了基础语言模型能够革新优化的最有前景的方式，包括利用自由文本中蕴含的大量信息来丰富任务理解、利用高度灵活的序列模型例如 Transformers 来设计出更优的优化策略，并提高对以前未见的搜索空间的性能预测。

May, 2024