评估LLM在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到LLM在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对LLM的优化任务领域进行进一步研究的重要性。

Oct, 2023

该论文提出了一种将算法表示集成到算法选择过程中的方法，通过模块化提取问题和算法的表示，利用预训练的LLMs来计算匹配度，实验证实了该模型的有效性以及预训练LLMs的性能，表明该算法选择框架有潜力作为评估LLMs编码表示能力的基准任务。

Nov, 2023

用大型语言模型（LLM）进行演化代码的算法最近才出现在遗传编程（GP）领域中。我们提出了LLM GP，这是一种基于LLM的形式化演化算法，旨在演化代码。与GP类似，它使用进化算子，但其设计和实现与GP截然不同，因为它利用了LLM的提示和LLM的预训练模式匹配和序列完成能力。我们还提供了LLM GP的演示级变体及其代码。通过涵盖从形式到实践的算法，我们涵盖了设计和LLM使用的考虑因素，以及使用LLM进行遗传编程时出现的科学挑战。

Jan, 2024

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为LLM增强进化优化和EA增强LLM两个方面，并介绍了一些整合方法来论证在各种应用场景中LLMs与EAs的融合。这篇论文是围绕LLMs时代的EA研究的首个综合综述，为了解和利用LLMs与EAs之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024

通过引入强化学习的方法，将代码LMM的输出与性能对齐，提高生成代码的期望加速比，并在一组基准任务中展示了0.9至1.6倍的串行代码速度提升和1.9至4.5倍的OpenMP代码速度提升。

Apr, 2024

大语言模型在代码优化方面展示出强大的能力，通过将优化对构建成面向问题的方法，结合不同程序员对同一问题的巧妙思路，实验证明了适应面向问题的优化对能显著提升大语言模型的优化能力，进一步通过模型合并解决性能瓶颈，达到了新的高水平。

Jun, 2024

该论文通过比较分析两种先进的大型语言模型（GPT-4.0和CodeLlama-70B）与传统优化编译器在代码优化方面的能力和局限性，以及引入了一套挑战性的优化模式基准和用于评估生成代码性能和正确性的自动机制，发现虽然大型语言模型有超越当前优化编译器的潜力，但在大型代码上常常生成不正确的代码，需要自动化验证方法，其中CodeLlama-70B在两种大型语言模型中表现最佳，最大加速能达到2.1倍，而CETUS在优化编译器中表现最佳，最大加速能达到1.9倍。同时，两种提示方法（思考链和指令提示）没有显著差异。

Jun, 2024

提出E-OPT和ReSocratic两种基准和数据合成方法，通过这些方法进行了大规模语言模型的优化问题求解能力评估和优化算法改进研究。

Jul, 2024

本研究解决了当前大型语言模型（LLMs）在代码生成中反复交互带来的高成本和时间消耗问题。提出了“进化提示工程”（EPiC）的方法，利用轻量级的进化算法优化原始提示，以生成高质量的代码，且与LLM的交互最小化。评估结果显示，EPiC在性价比上优于所有基准模型。

Aug, 2024

本研究针对大语言模型（LLMs）在推理计算中缺乏多样性所导致的低效搜索问题进行了探讨。通过提出PLANSEARCH这一新颖的搜索算法，研究表明基于自然语言的计划搜索能产生更为多样化的解决方案，从而显著提升了代码生成的效果，特别是在LiveCodeBench上达到了77.0%的最佳通过率。

Sep, 2024