本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明LLMs有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

Jun, 2023

该论文研究了大型语言模型（LLMs）ChatGPT-3.5和GPT-4在解决入门级编程任务中的表现，并根据表现得出了利用LLMs进行教学场景和评估格式的暗示。研究选取了来自免费网站CodingBat的72个针对初学者的Python任务，使用完整任务描述作为LLMs的输入，通过CodingBat的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为94.4％至95.8％，同时文本解释和程序代码的可用性可靠，从而为将LLMs纳入编程教育和评估中打开了新的途径。

Aug, 2023

探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

Aug, 2023

本文通过在印度的本科工程大学进行调查和访谈，揭示了 ChatGPT（一种流行的 LLM）在学术使用中的现状、所带来的好处、威胁、挑战以及增进学生和教师对 LLMs 采用的建议，进一步讨论了 LLMs 在本科工程教育及其他领域的实际意义。

Sep, 2023

个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立LLM的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与LLM响应之间的互动关系。直接的LLM答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和LLM在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者-LLM互动的设计建议。

Oct, 2023

通过研究，我们发现GPT-3.5和GPT-4模型可以准确分类学生的求助请求，并提高教育系统的自动化分类能力。

Oct, 2023

本研究采用了学生至上的方法，通过学生调查和访谈以全面了解计算机科学本科生如何使用ChatGPT，这是由OpenAI发布的一种流行的大型语言模型。研究发现，大多数学生对ChatGPT在课程相关任务中的辅助性态度积极，但也发现了在学生中长期接纳ChatGPT所面临的各种挑战，这些发现具有更广泛的意义，并可适用于其他大型语言模型及其在计算机教育中的作用。

Nov, 2023

通过构建新数据集和提出五个评估任务，全面评估不同方法在文本到SQL过程中的性能，揭示了大型语言模型之间的性能差异，并提出了针对每个任务的最佳上下文学习解决方案，为改进基于大型语言模型的文本到SQL系统的开发提供了有价值的见解。

Mar, 2024

通过系统分类和测试提示策略，我们为教育者和学生提供了一个全面的框架，以优化基于大型语言模型和提示工程的学习经验，从而最大化计算机编程教育的效益。

Jul, 2024

采用大规模随机对照实验，研究表明在编程教育中使用大型语言模型可能对考试表现产生积极影响，然而也可能导致对课程参与度的下降，特别是低人类发展指数国家的学生。需要进一步的调查以了解将来将大型语言模型引入课堂的潜在影响。

Apr, 2024