元启发式方法与大语言模型联手：走向一种综合优化方法

May, 2024

元启发式方法与大语言模型联手：走向一种综合优化方法

Metaheuristics and Large Language Models Join Forces: Towards an Integrated Optimization Approach

Camilo Chacón Sartori, Christian Blum, Filippo Bistaffa, Guillem Rodríguez Corominas

TL;DR该论文介绍了一种创新方法，利用 Large Language Models（LLMs）作为模式识别工具来改善元启发式算法，并通过在基于社交网络的组合优化问题中进行测试，证明了该混合方法在解决方案质量方面优于现有的结合机器学习和元启发式算法的最新方法。通过精心设计提示，我们证明了从 LLMs 获得的输出可以用作问题知识，从而提高了结果。最后，我们承认 LLMs 的潜在缺点和限制，并认为进一步研究这方面的研究需要对其进行检验。

Abstract

Since the rise of large language models (LLMs) a couple of years ago, researchers in metaheuristics (MHs) have wondered how to use their power in a beneficial way within their algorithms. This paper introduces a

large language models metaheuristics pattern recognition social network-based combinatorial optimization machine learning

发现论文，激发创造

利用大型语言模型进行超参数优化

使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数进行处理，LLMs 输出该超参数，超越了现有 HPO 方法的能力。我们的研究结果表明，LLMs 是提高传统超参数优化中效率的一种有前景的工具。

Dec, 2023

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

由学徒到研究助理：大型语言模型推动研究

通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

Apr, 2024

在优化中通过 LLM 辅助推理增强决策能力：神经网络视角

本文探讨了在大规模多目标优化领域中，生成 AI（GenAI）和进化算法（EAs）的无缝集成。通过着眼于大型语言模型（LLMs）的变革性作用，我们的研究调查了 LLM 辅助推理在自动化和增强决策过程中的潜力。具体而言，我们突出了 LLM 在揭示进化优化解决方案中的关键决策变量和表述上下文权衡方面的有效性。我们的方法旨在解决在大规模推断复杂多目标优化解决方案中固有的挑战，强调 LLM 的适应性，使其能够提供细致入微的解释，并使其语言与不同利益相关者的专业水平和领域偏好保持一致。经验证明，LLM 辅助推理在实际决策场景中具有实际可应用性和影响力。

May, 2024

面向优化的大型语言模型

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

大语言模型的工具学习：综述

最近，利用大型语言模型（LLMs）进行工具学习已经成为增强 LLMs 能力以解决高度复杂问题的一种有前景的范式。尽管这一领域受到越来越多关注和快速发展，但现有文献仍然零散且缺乏系统组织，对于新手来说存在进入障碍。本文通过对现有关于 LLMs 工具学习的文献进行综述，旨在探讨为什么工具学习有益以及如何实现工具学习，从而全面了解 LLMs 工具学习。首先，我们通过从六个具体方面回顾工具整合的益处以及工具学习范式的内在益处来探讨 “为什么”。在 “如何” 方面，我们根据工具学习工作流程的四个关键阶段（任务规划、工具选择、工具调用和响应生成）系统综述了现有文献。此外，我们还详细总结了现有的基准和评估方法，并根据其与不同阶段的相关性进行分类。最后，我们讨论了当前的挑战，并概述了潜在的未来方向，旨在鼓励研究人员和工业开发者进一步探索这一新兴而有前景的领域。

May, 2024

大型语言模型用于多目标进化优化

使用预训练的大型语言模型（LLM）设计的多目标进化算法（MOEA）运算符显示出潜在的优势，并能在不同模式和设置下具有稳健的泛化性能。

Oct, 2023

自省提示：用于上下文决策的大型语言模型

本研究利用自省式提示 (Introspective Tips) 促进了大型语言模型 (Large Language Models) 的自我优化，从学习过程中的经验、集成专家演示和跨越多种游戏等三种方面提高决策性能，却不调整 LMM 参数，结论在 TextWorld 超过 100 个游戏中都表现出优异的结果。

May, 2023

思维算法：增强大型语言模型中的想法探索

我们提出了《Algorithm of Thoughts》，这是一种新的通过算法推动大型语言模型的算法推理路径的策略，以在上下文学习中扩展其思路探索，并超越了早期单查询方法和最近的多查询策略。

Aug, 2023

大语言模型时代的进化计算：调查与路线图

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024