本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了OpenAI Codex及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

Jun, 2022

本文评估了GPT在大学的Python编程课程中通过评估的能力，并研究了GPT模型如何利用自动评估程序提供的反馈。研究发现，这些模型都不能完全通过Python编程课程中的各种评估，但简单应用它们可以使学习者在入门和中级课程中获得非常好的分数。然而，这些模型存在某些局限性，如对需要复杂推理步骤的练习处理能力较差。因此，本文建议教师改变评估方式，使GPT变成学习者的有价值的辅助工具，而不是全自动解决方案。

Mar, 2023

本文讨论了人工智能代码生成模型对计算机教育者以及入门级编程课程中教学实践的挑战和机遇。

Jun, 2023

本研究系统评估了两种模型(基于GPT-3.5的ChatGPT和GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个Python编程问题和来自在线平台的真实有bug程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4明显优于ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

Jun, 2023

本实验研究使用 OpenAI 的 GPT-3.5模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT提示时表现得更好。

Jun, 2023

使用生成式AI模型和大规模语言模型来生成编程教育中的个性化反馈，为学生提供编程提示以帮助他们解决程序中的错误。通过使用GPT-4作为“导师”模型和符号信息来提高生成质量，然后通过使用GPT-3.5作为“学生”模型来验证提示质量，我们开发了一种名为GPT4Hints-GPT3.5Val的新技术，通过对三个实际数据集进行广泛评估展示了我们技术的有效性。

Oct, 2023

通过分析GPT-4在高等教育的Python编程课程中生成的多项选择题（MCQs），我们发现GPT-4能够产生具有清晰语言、单一正确选项和高质量干扰项的MCQs，并且这些生成的题目与学习目标高度一致。这些研究结果对于希望充分利用最先进生成模型来支持多项选择题的编写工作的教育工作者具有潜在价值。

Dec, 2023

ChatGPT在自动化给予Java编程作业反馈方面的可行性进行了研究，调查结果表明学生们普遍认为ChatGPT反馈与Shute建立的形成性反馈准则相一致，他们更喜欢包含他们代码的反馈，此研究还提供了改进ChatGPT生成反馈的具体见解。

Dec, 2023

基于其让学习者更好地掌握编程技能和个性化编程指导的目标，本文提出了一种名为PERS的新模型，通过模拟学习者复杂的编程行为，并结合Felder-Silverman学习风格模型，实现对编程行为的全面描述和个性化编程指导的有效性验证。

Feb, 2024

该论文探讨了ChatGPT在为大一学生量身定制的Python编程课程中的学习影响，通过分析来自调查、开放式问题和学生-ChatGPT对话数据的回应，旨在全面了解ChatGPT的实用性，同时识别学生认知中的优点和限制，揭示出学生对ChatGPT普遍的积极接受态度，并为增强编程教育体验的角色提供了见解。这些发现对于AI在教育中的潜力以及未来研究和应用的方向具有广泛的意义。

Mar, 2024