该论文介绍了一种创新方法，利用 Large Language Models（LLMs）作为模式识别工具来改善元启发式算法，并通过在基于社交网络的组合优化问题中进行测试，证明了该混合方法在解决方案质量方面优于现有的结合机器学习和元启发式算法的最新方法。通过精心设计提示，我们证明了从 LLMs 获得的输出可以用作问题知识，从而提高了结果。最后，我们承认 LLMs 的潜在缺点和限制，并认为进一步研究这方面的研究需要对其进行检验。

May, 2024

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

使用大型语言模型作为交互式优化器，通过自然语言和数值反馈在文本空间中解决最大化问题的潜力进行研究。为了实现可靠的改进，我们设计了一种新的基于大型语言模型的优化器，它从历史优化跟踪中综合定向反馈。经验证明，与现有技术相比，我们的基于大型语言模型的优化器在解决优化问题（从最大化数学函数到优化写诗提示）方面更加稳定和高效。

May, 2024

我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

Jan, 2024

本文研究了大型语言模型（LLM）在查询优化方面的能力，并使用 LLM 设计了 LaPuda，一种新颖的基于 LLM 和策略的多模态查询优化器，通过几个抽象策略指导 LLM 进行优化，从而节省了大量时间和人力资源。此外，为了避免 LLM 产生错误的优化，我们借鉴了梯度下降的思想，提出了一种引导成本下降（GCD）算法来执行优化，从而保持优化在正确的方向上。通过评估，我们的方法在大多数情况下都优于基准方法，例如，我们的方法生成的优化计划的执行速度比基准方法快 1~3 倍。

Mar, 2024

该研究综述了针对大型语言模型（LLMs）的挑战以及提高系统效率的最新进展和研究方向，包括算法级加速技术、LLM 硬件与软件协同设计策略、LLMs 加速器编译方法以及利用 LLMs 辅助电路设计的方法。通过这些工作，旨在为 LLMs 在各种应用中实现更高效、可扩展的部署铺平道路。

Jun, 2024

大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

为了实现无特征或结构调整的上下文学习回归，我们展示了一个提示系统，结合了不确定性，使得大语言模型能够以自然语言处理的方法进行催化剂或分子优化的贝叶斯优化，从而消除了训练或模拟的需要。

Apr, 2023

综合利用 LLMs 能力的 StrategyLLM 框架提出，通过制定通用问题解决策略，以及利用这些策略产生一致的解决方案来提高推理方法的泛化性和一致性。实验证明，StrategyLLM 在数学推理、常识推理、算法推理和符号推理等 4 个具有挑战性的任务上，比需要人工注释解决方案的同类基准模型 CoT-SC 表现更好。

Nov, 2023