本研究设计了一个基于Python程序的新评测标准StudentEval,使用多个具体的非专家受试者编写的问题提示，对比评估了5种Code LLM模型的性能，结果表明这种评测标准是更好的模型性能判别标准。同时，研究还发现了学生提示技术的显著变异和LLM采样的不确定性可能会误导学生，这些发现对于使用Code LLMs进行教学具有影响。

Jun, 2023

通过引入“Prompt Problem”概念以及开发名为Promptly的工具，本文介绍了一种新的教学方法，可以帮助学生学习如何为大型语言模型构建有效的提示，通过一项实地研究发现，Promptly大部分被学生们积极接受，并且能够激发他们的计算思维能力和接触新的编程结构，未来的研究方向包括Prompt Problem设计的改进以及将其整合进课程和教学实践中的研究。

Jul, 2023

利用大型语言模型在开放式学习环境中进行学生建模，引入了一种新的框架，LLM-SS，该框架利用LLMs来合成学生的行为，并使用领域专业知识对LLMs进行微调，以提高对领域背景和学生行为的理解，实验证明在学生尝试合成基准中与基线方法相比有显著改进，并且使用经过微调的Llama2-70B模型的方法与使用最先进的GPT-4模型相当。

Oct, 2023

研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。

Dec, 2023

通过Prompt Problems的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将LLMs整合到设计工具中所带来的新型编程问题和洞见。

Jan, 2024

面向编程学习，CodeAid是一种基于LLM的编程助手，提供即时帮助和技术正确的回答，但避免直接显示代码解决方案。CodeAid主要用于概念理解和调试，受到教育工作者的认可，但也引发一些学生错误反馈和依赖ChatGPT的担忧。

Jan, 2024

Intelligent tutoring systems can be complex and time-consuming to develop, but the Apprentice Tutor Builder simplifies tutor creation and personalization using interactive AI agents, as evaluated through a user study.

Apr, 2024

通过系统分类和测试提示策略，我们为教育者和学生提供了一个全面的框架，以优化基于大型语言模型和提示工程的学习经验，从而最大化计算机编程教育的效益。

Jul, 2024

通过使用大型语言模型产生的编程练习，个性化编程问题可以成为配合学生兴趣和需求的无限量的练习材料，为入门编程课程提供了有价值的补充。

Jun, 2024

本研究针对现有人工智能辅导聊天机器人的学生行为建模缺口，提出了在辅导-学生对话中进行知识追踪的首个尝试。通过使用大型语言模型的提示方法，我们能够识别对话中的知识组件并诊断学生的回应正确性，研究结果表明，新的LLMKT方法在对话中预测学生回应的正确性方面显著优于现有知识追踪方法。

Sep, 2024