使用语言模型加持的搭脚手架程序作为种子，通过多次调用语言模型查询并返回最佳解决方案的方式，改进输入程序并实现自我提升。在此基础上，通过分析搭脚手架程序的自我提升策略，包括束搜索、遗传算法和模拟退火，证明现代语言模型（以我们的概念验证实验中的 GPT-4 为例）可以编写能够调用自身以实现自我提升的代码。同时，对于搭脚手架程序的开发引发的自我改进技术可能带来的问题，以及生成的代码绕过沙盒的频率进行了评估。

Oct, 2023

本文提出了一种名为 AI Programmer 的机器学习系统，使用遗传算法和一种紧密限制的编程语言自动生成软件程序，并包括嵌入式解释器等特殊设计，经过实验证明其软件生成能力和性能仅需使用主流 CPU 即可实现。

Sep, 2017

我们展示了一种能够通过 Python 解释器来过滤正确性的方法，使用 Language Models 能够合成编程问题和解决方案，并在自己的综合问题和验证解决方案方面进行微调，从而改进自身性能。

Jul, 2022

本文使用 GPT-4 进行了多项实验来生成计算机代码，发现 AI 编码工具需要人类的验证才能确保准确性和可靠性。同时，使用 GPT-4 进行代码改进可以显著提高代码质量，但生成的测试仍需要人类验证。

Apr, 2023

本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

Jun, 2022

该研究论文综述了自然语言处理技术的利用，重点关注使用大型代码训练的基于 Transformer 的大型语言模型在 AI 辅助编程任务领域中的应用。这些模型在包括代码生成、代码补全、代码翻译、代码概述、缺陷检测和克隆检测等 AI 辅助编程应用中扮演着关键角色，而其中值得注意的例子包括由 OpenAI 的 Codex 和 DeepMind AlphaCode 提供支持的 GitHub Copilot。本文概述了主要的大型语言模型及其在与 AI 辅助编程相关的下游任务中的应用，并探讨了在这些应用中结合 NLP 技术和软件自然性面临的挑战和机遇，同时讨论了将 AI 辅助编程能力拓展到苹果的 Xcode 移动软件开发环境中的问题和机会，以使开发人员能够获得更先进的编码辅助，并使软件开发流程更加高效。

Jul, 2023

本文讨论了人工智能代码生成模型对计算机教育者以及入门级编程课程中教学实践的挑战和机遇。

Jun, 2023

应用生成式人工智能技术改善编程问题、错误信息及自动化评估工具的可用性。

Feb, 2024

我们开发了一种简单直接的方法，可以创建能够执行多种计算机任务并通过开发工具和扩展自身能力来自我改进的 AI 计算机代理。

Apr, 2024

本文探讨了使用大型语言模型进行编程的相似之处和不同之处，认为 LLM-assisted 编程应该被视为一种具有自己独特属性和挑战的新编程方式，并讨论了在将大型语言模型应用于非专业用户编程时可能出现的问题和研究挑战。

Aug, 2022