本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

Apr, 2023

提出了一种名为AutoKnow的新型两步流程，将LLMs作为知识提供者和自我反思程序员，通过从输入提示中获得知识并根据生成的知识生成中间代码，并存在解释器中接收错误消息，从而使LLMs成为专业编程人员，从而成功完成编程，有效提高了二者的表现。

Jun, 2023

该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如InstructGPT和ChatGPT在处理指令时表现优异，而早期使用变量名如Codex的模型的性能受描述问题时表浅的指标较大影响。

Jun, 2023

评估了各种LLM在生成Python代码方面的性能，揭示了创建准确的Python函数的理想提示策略。

Nov, 2023

我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在Big Bench Hard的八个任务中实现了平均9.2%的准确度提升，突显了自动化提示设计对充分利用LLMs的能力的重要性。

Nov, 2023

这篇综述研究了大型语言模型在编码生成任务中的有效提示方法，探讨了从个别编码问题到仓库规模解决方案的转变，旨在推进开发者生产力，为商业应用场景提供有用且适用的黑盒语言模型方法，并介绍了基于仓库级提示生成技术与RepoCoder的迭代检索与生成方法之间的权衡，以确立最佳实践，为尖端编码基准提供改进路径。

Dec, 2023

本文研究现有的代码生成方法的性能限制，并引入了一种新的方法Instruction Fusion（IF），该方法通过混合两个不同的提示来增强代码LLM的训练提示的演化，实验结果显示该方法显著改善了代码LLM在五个代码生成基准测试中的性能。

Dec, 2023

用大型语言模型（LLM）进行演化代码的算法最近才出现在遗传编程（GP）领域中。我们提出了LLM GP，这是一种基于LLM的形式化演化算法，旨在演化代码。与GP类似，它使用进化算子，但其设计和实现与GP截然不同，因为它利用了LLM的提示和LLM的预训练模式匹配和序列完成能力。我们还提供了LLM GP的演示级变体及其代码。通过涵盖从形式到实践的算法，我们涵盖了设计和LLM使用的考虑因素，以及使用LLM进行遗传编程时出现的科学挑战。

Jan, 2024

基于大规模语言模型的代码生成领域的综述，介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

Jun, 2024

本研究解决了开发者编写的代码中的效率问题和性能缺陷，旨在开发自动重构的代码优化方法。通过提出一种搜索基础的LLMs框架SBLLM，该框架允许迭代改进和发现优化方法，最终实现有效的代码优化。

Aug, 2024