Jul, 2023

AI 辅助编程的大代码的自然语言生成与理解：综述

PDF
TL;DR该研究论文综述了自然语言处理技术的利用，重点关注使用大型代码训练的基于 Transformer 的大型语言模型在 AI 辅助编程任务领域中的应用。这些模型在包括代码生成、代码补全、代码翻译、代码概述、缺陷检测和克隆检测等 AI 辅助编程应用中扮演着关键角色，而其中值得注意的例子包括由 OpenAI 的 Codex 和 DeepMind AlphaCode 提供支持的 GitHub Copilot。本文概述了主要的大型语言模型及其在与 AI 辅助编程相关的下游任务中的应用，并探讨了在这些应用中结合 NLP 技术和软件自然性面临的挑战和机遇，同时讨论了将 AI 辅助编程能力拓展到苹果的 Xcode 移动软件开发环境中的问题和机会，以使开发人员能够获得更先进的编码辅助，并使软件开发流程更加高效。
natural language processinglarge language modelsai-assisted programmingsoftware naturalnessnlp techniques
发现论文，激发创造
  • 使用人工智能编程是什么体验？

    本文探讨了使用大型语言模型进行编程的相似之处和不同之处，认为 LLM-assisted 编程应该被视为一种具有自己独特属性和挑战的新编程方式，并讨论了在将大型语言模型应用于非专业用户编程时可能出现的问题和研究挑战。

    Aug, 2022

  • 使用大型语言模型自动生成编程练习和代码解释

    本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

    Jun, 2022

  • 自然语言编程学习

    使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

    Apr, 2023

  • 辅助清理代码的 LLM 用于培训准确的代码生成器

    通过改善数据质量，例如进行代码转换和模块化，自然语言生成代码的性能可以得到显著提升。研究结果还表明，使用较少但高质量的数据进行模型微调可以优于在原始数据集上进行微调。

    Nov, 2023

  • 探索大型语言模型用于代码解释

    使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

    Oct, 2023

  • 提升代码大型语言模型的自然语言能力

    提出了一个新的框架，通过集成传统自然语言处理工具，从自然语言需求文本中提取关键词短语，并生成目标代码以解决需求，从而有效提高代码大型语言模型的性能。通过创建一个新的多自然语言代码生成基准测试集，实验证明了该框架的有效性。

    Jan, 2024

  • 源代码人工智能调查：对话系统视角

    本论文综述了过去 35 年中在自然语言处理 (NLP) 中应用的主要深度学习方法和源代码的人工智能 (AI) 应用，包括代码智能 (CI) 和编程语言处理 (PLP)，以及其在软件工程和教育中的对话助手的应用。还提出了在 AI 与对话助手和 CI 的交叉点上进行研究的机会，并提供了未来的研究方向。

    Feb, 2022

  • 使用 ChatGPT 3.5 进行代码生成的十种编程语言的比较研究

    研究 ChatGPT 3.5 模型在编写代码方面的能力，评估其在 10 种编程语言和 4 个软件领域中生成代码片段的熟练程度，并发现了模型的主要意外行为和限制，旨在寻找发展的潜在领域，并检查自动生成代码对编程语言和技术行业发展的影响。

    Aug, 2023

  • 自动编程：大型语言模型与更多

    自动编程的流行增加了对代码质量、安全性、程序修复和程序员责任等相关问题的关注，这些问题是组织在决定使用自动生成代码时所关心的关键问题，本文研究了自动编程的各个方面，并讨论了软件工程的进展，如程序修复和分析可以实现自动编程，并对未来的编程环境提出了展望，认为程序员可能需要转变角色以充分利用自动编程的力量。通过从大型语言模型自动生成的程序进行自动修复，可以生成更可靠的代码，并提供可靠性证据。

    May, 2024

  • 从自然语言文本生成 Java 代码的现有技术方法综述

    本文主要综述了深度学习模型在 Java 代码生成任务中的进展和发展，涉及到自然语言处理、基于 RNN 和 Transformer 的模型、CONCODE 数据集等方面，并对存在的方法、数据集、评估指标、未来发展等方面进行了详细介绍。

    Jun, 2023