ChatGPT 在自动化给予 Java 编程作业反馈方面的可行性进行了研究，调查结果表明学生们普遍认为 ChatGPT 反馈与 Shute 建立的形成性反馈准则相一致，他们更喜欢包含他们代码的反馈，此研究还提供了改进 ChatGPT 生成反馈的具体见解。

Dec, 2023

该研究探讨了大型语言模型（特别是 GPT-4）在提升编程教育方面的应用。该研究介绍了一个利用 GPT-4 设计的网页应用，用于对编程任务提供反馈，但不提供解决方案。该网页应用在一个学期内进行了 51 名学生的评估，结果显示 GPT-4 生成的大部分反馈有效地解决了代码错误。然而，不正确的建议和虚构的问题导致进一步改进的需求。

Mar, 2024

该论文研究了大型语言模型（LLMs）ChatGPT-3.5 和 GPT-4 在解决入门级编程任务中的表现，并根据表现得出了利用 LLMs 进行教学场景和评估格式的暗示。研究选取了来自免费网站 CodingBat 的 72 个针对初学者的 Python 任务，使用完整任务描述作为 LLMs 的输入，通过 CodingBat 的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为 94.4％至 95.8％，同时文本解释和程序代码的可用性可靠，从而为将 LLMs 纳入编程教育和评估中打开了新的途径。

Aug, 2023

本文介绍了如何利用大型语言模型 (LLMs) 和尤其是 ChatGPT 进行编程、源代码分析和代码生成，研究了 LLMs 和 ChatGPT 在代码创建、代码文档化、漏洞检测、重构等多个领域中的应用，并指出它们在编程社区中的使用有望得到进一步推广。

Jun, 2023

通过分析大型语言模型（LLMs）与入门级编程学生的交互，我们了解到了学生们与 ChatGPT-3.5 等相关工具的互动情况，这将对未来的高等教育入门级编程课程的教学实践和指导产生积极影响。

May, 2024

通过对 24 名职业软件工程师使用 ChatGPT 一周期间的对话和整体体验进行定性分析，发现他们更多地使用 ChatGPT 获取解决任务的指导或对抽象主题的学习，并提出了一个理论框架，指导今后关于职业软件工程师使用 LLM 的学术讨论和设计未来经验性研究。

Apr, 2024

本研究评估了大型语言模型（LLMs）GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力，并应用自然语言处理的方法，通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标，从而展示了 LLMs 在洞察力提取方面的巨大潜力。

Sep, 2023

本研究采用了学生至上的方法，通过学生调查和访谈以全面了解计算机科学本科生如何使用 ChatGPT，这是由 OpenAI 发布的一种流行的大型语言模型。研究发现，大多数学生对 ChatGPT 在课程相关任务中的辅助性态度积极，但也发现了在学生中长期接纳 ChatGPT 所面临的各种挑战，这些发现具有更广泛的意义，并可适用于其他大型语言模型及其在计算机教育中的作用。

Nov, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

通过对 109 名参与者进行一个受控的 2 × 2 交叉试验，我们研究了 ChatGPT 在编码任务和典型软件开发任务中的协助程度以及人们与 ChatGPT 的互动关系，结果显示 ChatGPT 在解决简单编码问题方面表现良好，但在支持典型软件开发任务方面表现不佳。因此，我们提供了使用 ChatGPT 在软件工程领域与开发人员合作的第一手实验结果，并倡导提出有助于开发人员与大型语言模型有效合作以实现预期结果的新型交互机制。

Feb, 2024