使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

Apr, 2023

本文介绍了一种能够修改自身源代码的自编程人工智能系统，通过应用基于 AI 的代码生成，实现了对自身深度学习模型设计和学习动态的算法优化，证明了其能够成功地改进自身性能，并编程子模型来执行辅助任务。

Apr, 2022

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

Oct, 2022

本文提出 Toolformer 模型，利用简单的 API 可以帮助语言模型自动完成一些功能，如计算或答疑系统，并显著提高其在一些下游任务上的表现。

Feb, 2023

本论文介绍了一种新颖的方法，使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤，但将求解步骤委托给运行时，如 Python 解释器，在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。

Nov, 2022

通过 Prompt Problems 的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将 LLMs 整合到设计工具中所带来的新型编程问题和洞见。

Jan, 2024

本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

Apr, 2023

使用语言模型加持的搭脚手架程序作为种子，通过多次调用语言模型查询并返回最佳解决方案的方式，改进输入程序并实现自我提升。在此基础上，通过分析搭脚手架程序的自我提升策略，包括束搜索、遗传算法和模拟退火，证明现代语言模型（以我们的概念验证实验中的 GPT-4 为例）可以编写能够调用自身以实现自我提升的代码。同时，对于搭脚手架程序的开发引发的自我改进技术可能带来的问题，以及生成的代码绕过沙盒的频率进行了评估。

Oct, 2023

通过 TriPosT 训练算法，这篇论文介绍如何赋予更小的模型自我改进的能力，从而减小大型语言模型与成本效益更高、运行更快的模型之间的性能差距，并且通过与大型语言模型进行互动，收集反馈和改进，并将这一经验用于训练小模型，实验证明通过学习和纠正自己的错误对于小模型改进性能至关重要。

Oct, 2023

本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

Jun, 2023