本研究设计了一个基于Python程序的新评测标准StudentEval,使用多个具体的非专家受试者编写的问题提示，对比评估了5种Code LLM模型的性能，结果表明这种评测标准是更好的模型性能判别标准。同时，研究还发现了学生提示技术的显著变异和LLM采样的不确定性可能会误导学生，这些发现对于使用Code LLMs进行教学具有影响。

Jun, 2023

本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明LLMs有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

Jun, 2023

通过引入“Prompt Problem”概念以及开发名为Promptly的工具，本文介绍了一种新的教学方法，可以帮助学生学习如何为大型语言模型构建有效的提示，通过一项实地研究发现，Promptly大部分被学生们积极接受，并且能够激发他们的计算思维能力和接触新的编程结构，未来的研究方向包括Prompt Problem设计的改进以及将其整合进课程和教学实践中的研究。

Jul, 2023

该论文研究了大型语言模型（LLMs）ChatGPT-3.5和GPT-4在解决入门级编程任务中的表现，并根据表现得出了利用LLMs进行教学场景和评估格式的暗示。研究选取了来自免费网站CodingBat的72个针对初学者的Python任务，使用完整任务描述作为LLMs的输入，通过CodingBat的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为94.4％至95.8％，同时文本解释和程序代码的可用性可靠，从而为将LLMs纳入编程教育和评估中打开了新的途径。

Aug, 2023

评估了各种LLM在生成Python代码方面的性能，揭示了创建准确的Python函数的理想提示策略。

Nov, 2023

研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。

Dec, 2023

通过Prompt Problems的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将LLMs整合到设计工具中所带来的新型编程问题和洞见。

Jan, 2024

论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括AI生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用LLMs提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

Jan, 2024

使用开源的大型语言模型在学习编程中评估编程作业反馈的高质量和评判编程反馈的质量方面，与专有的模型相比，取得了很好的效果。

Jul, 2024

本研究针对K-12 STEM教育中大语言模型（LLM）应用的不足进行了系统性评估，特别关注提示工程的实践。通过分析2021至2024年间的30项相关研究，发现尽管简单和零样本提示普遍使用，但更高级的提示技术在教育任务中表现出积极成效。研究表明，小型和经过微调的模型在特定情境下能超越大型模型的效果。

Oct, 2024