利用LLMs增强计算机编程教育：针对Python代码生成的有效提示工程研究
本研究设计了一个基于Python程序的新评测标准StudentEval,使用多个具体的非专家受试者编写的问题提示，对比评估了5种Code LLM模型的性能，结果表明这种评测标准是更好的模型性能判别标准。同时，研究还发现了学生提示技术的显著变异和LLM采样的不确定性可能会误导学生，这些发现对于使用Code LLMs进行教学具有影响。
Jun, 2023
本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明LLMs有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。
Jun, 2023
通过引入“Prompt Problem”概念以及开发名为Promptly的工具，本文介绍了一种新的教学方法，可以帮助学生学习如何为大型语言模型构建有效的提示，通过一项实地研究发现，Promptly大部分被学生们积极接受，并且能够激发他们的计算思维能力和接触新的编程结构，未来的研究方向包括Prompt Problem设计的改进以及将其整合进课程和教学实践中的研究。
Jul, 2023
该论文研究了大型语言模型（LLMs）ChatGPT-3.5和GPT-4在解决入门级编程任务中的表现，并根据表现得出了利用LLMs进行教学场景和评估格式的暗示。研究选取了来自免费网站CodingBat的72个针对初学者的Python任务，使用完整任务描述作为LLMs的输入，通过CodingBat的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为94.4％至95.8％，同时文本解释和程序代码的可用性可靠，从而为将LLMs纳入编程教育和评估中打开了新的途径。
Aug, 2023
该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。
Oct, 2023
研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。
Dec, 2023
通过Prompt Problems的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将LLMs整合到设计工具中所带来的新型编程问题和洞见。
Jan, 2024
论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括AI生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用LLMs提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。
Jan, 2024