Apr, 2024

GPT惊喜：在大规模编程课程中提供大型语言模型对话，减少了参与度但提高了采用者的考试成绩

HTML
PDF
TL;DR采用大规模随机对照实验，研究表明在编程教育中使用大型语言模型可能对考试表现产生积极影响，然而也可能导致对课程参与度的下降，特别是低人类发展指数国家的学生。需要进一步的调查以了解将来将大型语言模型引入课堂的潜在影响。
发现论文，激发创造
  • 探索大型语言模型对初学者程序员求助请求的响应

    本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明LLMs有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

    Jun, 2023

  • 巨型语言模型（GPT-4）的进步：通过高等教育编程课程的考核不再成为难题

    该研究对基于GPT-4 模型的Python编程自动测试提供了详细的分析和实验结果，这表明自然语言处理技术在编程教育类中有很大的潜力，并且给程序设计教育提出了新的问题。

    Jun, 2023

  • 大型语言模型在初级编程教育中的应用：ChatGPT 的性能和对评估的影响

    该论文研究了大型语言模型（LLMs）ChatGPT-3.5和GPT-4在解决入门级编程任务中的表现，并根据表现得出了利用LLMs进行教学场景和评估格式的暗示。研究选取了来自免费网站CodingBat的72个针对初学者的Python任务，使用完整任务描述作为LLMs的输入，通过CodingBat的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为94.4％至95.8％，同时文本解释和程序代码的可用性可靠，从而为将LLMs纳入编程教育和评估中打开了新的途径。

    Aug, 2023

  • 探索大型语言模型生成形成性编程反馈的潜力

    探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

    Aug, 2023

  • 从“让我们谷歌”到“让我们ChatGPT”: 学生和教师对LLMs 在本科工程教育中的影响的观点

    本文通过在印度的本科工程大学进行调查和访谈，揭示了 ChatGPT（一种流行的 LLM）在学术使用中的现状、所带来的好处、威胁、挑战以及增进学生和教师对 LLMs 采用的建议，进一步讨论了 LLMs 在本科工程教育及其他领域的实际意义。

    Sep, 2023

  • L2使用指导和互动策略对学习者表现和感知的影响

    个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要，特别是在教师直接存在有限的情况下。大型语言模型（LLM）提供了一个有前途的途径，不断有研究探索它们在教育上的实用性。然而，挑战不仅在于建立LLM的效能，而且还在于理解学习者与这些模型之间的互动细微差别，这会影响学习者的参与和结果。我们在一个本科计算机科学课堂（N=145）进行了一个形成性研究，并在Prolific（N=356）上进行了一项受控实验，探索四种教学指导策略的影响以及学生方法与LLM响应之间的互动关系。直接的LLM答案稍微提高了表现，而改进学生解决方案培养了信任。我们的发现表明，所提供的指导和LLM在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现，我们提供了优化学习者-LLM互动的设计建议。

    Oct, 2023

  • 测验计算机科学本科生在ChatGPT使用中：“不像Jarvis，但非常接近！

    本研究采用了学生至上的方法，通过学生调查和访谈以全面了解计算机科学本科生如何使用ChatGPT，这是由OpenAI发布的一种流行的大型语言模型。研究发现，大多数学生对ChatGPT在课程相关任务中的辅助性态度积极，但也发现了在学生中长期接纳ChatGPT所面临的各种挑战，这些发现具有更广泛的意义，并可适用于其他大型语言模型及其在计算机教育中的作用。

    Nov, 2023

  • 评估大型语言模型在课堂对话分析中的应用

    该研究探讨了大型语言模型（LLM），特别是GPT-4，在课堂对话分析中的应用，这是教学诊断和质量改进的关键研究任务。研究发现传统定性方法在教育研究中具有知识密集和劳动密集的特点，调查了LLM在简化和增强分析过程方面的潜力。通过对中学的数据集进行分析，包括数学和语文课堂的对话，该研究对人工编码的对话进行了评估，并使用定制的GPT-4模型进行了分析。该研究重点比较了手动注释和GPT-4输出，以评估其在教育对话分析中的有效性。评估了GPT-4的时间效率、编码者间一致性和编码者间可靠性。结果表明，使用GPT-4能够显著节省时间，并且模型与人工编码者之间具有高度的一致性，尽管在某些代码上存在差异。这些发现凸显了LLM在教学评估和促进方面的巨大潜力。

    Feb, 2024

  • 社会塑造理论的启示：本科编程课程中对大型语言模型的应用

    利用大型语言模型（LLMs）进行代码生成、调试和解释的能力在大学本科编程教育领域引起了研究人员和教育者的兴趣，但决定如何以及为何在编程教育中使用LLMs可能不仅涉及到LLMs的技术能力评估，同时也会受到学生社会感知的影响。本研究使用社会技术塑造理论作为指导框架，探讨了学生的社会感知如何影响他们对LLMs的使用，并研究了学生在大学本科编程课程中自报告的LLMs使用情况与其自我效能感和期中成绩之间的相关性。通过对匿名课程末尾学生调查（n = 158）、期中自我效能调查（n = 158）、学生访谈 （n = 10）、作业中自报告的LLMs使用情况和期中成绩的数据三角化分析，我们发现学生对LLMs的使用与他们对未来职业的期望以及对同伴使用的认知相关。此外，我们发现在我们的环境中早期自我报告的LLMs使用与较低的自我效能感和期中成绩有关，而学生对LLMs的过度依赖感，而非使用本身，与课程后期的自我效能感降低相关。

    Jun, 2024

  • 理解学生使用大型语言模型与网络搜索编写SQL查询的帮助寻求行为

    本研究针对学生在编程教育中使用大型语言模型（LLMs）与网络搜索的差异进行了探索。通过对数据库课堂的随机访谈研究，发现使用教师调优的LLM进行SQL查询编写时，交互次数显著增加，但最终查询编辑数量相似，且LLM条件下的查询质量较高。研究结果对编程教育的学习与生产力具有重要意义。

    Aug, 2024