本文探讨了使用大型语言模型进行编程的相似之处和不同之处，认为LLM-assisted编程应该被视为一种具有自己独特属性和挑战的新编程方式，并讨论了在将大型语言模型应用于非专业用户编程时可能出现的问题和研究挑战。

Aug, 2022

该研究论文综述了自然语言处理技术的利用，重点关注使用大型代码训练的基于Transformer的大型语言模型在AI辅助编程任务领域中的应用。这些模型在包括代码生成、代码补全、代码翻译、代码概述、缺陷检测和克隆检测等AI辅助编程应用中扮演着关键角色，而其中值得注意的例子包括由OpenAI的Codex和DeepMind AlphaCode提供支持的GitHub Copilot。本文概述了主要的大型语言模型及其在与AI辅助编程相关的下游任务中的应用，并探讨了在这些应用中结合NLP技术和软件自然性面临的挑战和机遇，同时讨论了将AI辅助编程能力拓展到苹果的Xcode移动软件开发环境中的问题和机会，以使开发人员能够获得更先进的编码辅助，并使软件开发流程更加高效。

Jul, 2023

研究ChatGPT 3.5模型在编写代码方面的能力，评估其在10种编程语言和4个软件领域中生成代码片段的熟练程度，并发现了模型的主要意外行为和限制，旨在寻找发展的潜在领域，并检查自动生成代码对编程语言和技术行业发展的影响。

Aug, 2023

人工智能和大型语言模型在计算机教育中的应用及其引发的伦理问题的综合调查和分析。

Oct, 2023

通过将代码集成到大型语言模型的训练数据中，可以提高语言模型的代码生成能力、推理能力以及生成结构化和精确的中间步骤，并将其转化为智能代理在复杂自然语言任务中的应用。

Jan, 2024

定性编码，或内容分析，从文本中提取含义，以识别文本语料库中的定量模式。最近，大型语言模型（LLM）在解释能力方面的进展为自动编码过程（对文本应用类别标签）提供了可能性，从而使人类研究人员能够集中精力进行更有创意的研究，而将这些解释性任务委托给人工智能。我们的案例研究是关于一项人文研究的一组密集段落长的社会历史代码。我们表明GPT-4能够提供与人类相当的解释，而GPT-3.5则不能。与我们基于人工导出的黄金标准相比，GPT-4对于9个代码中的3个代码提供了出色的编码一致性（Cohen's Kappa >= 0.79），对于8个代码提供了显著的一致性（Kappa >= 0.6）。相比之下，GPT-3.5在所有代码中表现不佳（mean(Kappa) = 0.34; max(Kappa) = 0.55）。重要的是，我们发现当要求LLM给出理由来解释其编码决策时（思路连贯推理），编码准确性显著提高。我们提出了这些以及其他发现以及一套适应LLM的传统编码手册的最佳实践。我们的结果表明，对于某些编码手册，最先进的LLM已经熟练掌握了大规模内容分析技术。此外，他们也表明，下一代模型很可能使人工智能编码成为大多数编码手册的可行选择。

Jan, 2024

论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括AI生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用LLMs提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

Jan, 2024

通过对109名参与者进行一个受控的2 × 2交叉试验，我们研究了ChatGPT在编码任务和典型软件开发任务中的协助程度以及人们与ChatGPT的互动关系，结果显示ChatGPT在解决简单编码问题方面表现良好，但在支持典型软件开发任务方面表现不佳。因此，我们提供了使用ChatGPT在软件工程领域与开发人员合作的第一手实验结果，并倡导提出有助于开发人员与大型语言模型有效合作以实现预期结果的新型交互机制。

Feb, 2024

为了提高推理效率和减少计算成本，我们提出了人工智能导向的语法的概念，通过改进现有编程语言的语法和规则，使得AI模型更适合理解和使用代码。我们通过创建名为Simple Python（SimPy）的人工智能导向的Python语法来验证这一概念的可行性，并且与原始Python相比，SimPy在代码标记使用上减少了13.5%和10.4%的数量，并且在性能方面取得了相当甚至更好的效果。

Apr, 2024

Contemporary language models' progress towards becoming helpful scientific assistants is demonstrated by SciCode, a scientist-curated coding benchmark that examines their capabilities in generating code for solving real scientific research problems.

Jul, 2024