May, 2024

使用大型语言模型生成程序练习的现状调查研究

PDF
TL;DR通过调查研究，本文分析了大语言模型（LLMs）在编程练习生成能力方面的状况，并提出了一个评估矩阵，帮助研究人员和教育工作者决定哪个 LLM 适合编程练习生成用例。此外，本文还发现多个 LLM 能够生成有用的编程练习，但存在着 LLMs 能够解决由 LLMs 生成的练习的难题。该论文对 LLMs 在教育中的整合进行了有益的讨论。
large language modelsprogramming exercise generation capabilitiesevaluation matrixllms in educationintegration of llms
发现论文，激发创造
  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对 LLMs 在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • 软件工程项目中对 LLMs 的使用和感知的实证研究

    论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs 在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

    Jan, 2024

  • 使用大型语言模型自动生成编程练习和代码解释

    本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

    Jun, 2022

  • 大型语言模型的编程技能评估

    通过比较 OpenAI 的 ChatGPT 和 Google 的 Gemini AI 在其免费版本中生成的编程代码的质量，以一个真实世界的例子和系统的数据集为支撑，本研究批判性地检验了这两种领先的大型语言模型的输出质量。鉴于它们在生成代码方面的显著能力，这方面的聊天机器人能力成为一项特别引人注目的分析领域。此外，编程代码的复杂性常常升级到需要验证的难度，强调了我们研究的重要性。本研究旨在揭示大型语言模型在生成高质量编程代码方面的功效和可靠性，这对软件开发领域和其他领域具有重要意义。

    May, 2024

  • 使用大型语言模型的入门编程的下一步提示生成

    研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。

    Dec, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • 高效大型语言模型：综述

    大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

    Dec, 2023

  • 使用 ChatGPT 3.5 进行代码生成的十种编程语言的比较研究

    研究 ChatGPT 3.5 模型在编写代码方面的能力，评估其在 10 种编程语言和 4 个软件领域中生成代码片段的熟练程度，并发现了模型的主要意外行为和限制，旨在寻找发展的潜在领域，并检查自动生成代码对编程语言和技术行业发展的影响。

    Aug, 2023

  • 探索大型语言模型用于代码解释

    使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

    Oct, 2023

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023