Oct, 2023

自动化人类导师式编程反馈：利用 GPT-4 导师模型生成提示以及 GPT-3.5 学生模型验证提示

PDF
TL;DR使用生成式 AI 模型和大规模语言模型来生成编程教育中的个性化反馈，为学生提供编程提示以帮助他们解决程序中的错误。通过使用 GPT-4 作为 “导师” 模型和符号信息来提高生成质量，然后通过使用 GPT-3.5 作为 “学生” 模型来验证提示质量，我们开发了一种名为 GPT4Hints-GPT3.5Val 的新技术，通过对三个实际数据集进行广泛评估展示了我们技术的有效性。
generative aiprogramming educationindividualized feedbackprogramming hintsgpt-4
发现论文，激发创造
  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • 面向编程教育的生成式人工智能：ChatGPT、GPT-4 和人类导师的基准测试

    本研究系统评估了两种模型 (基于 GPT-3.5 的 ChatGPT 和 GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个 Python 编程问题和来自在线平台的真实有 bug 程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4 明显优于 ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

    Jun, 2023

  • 使用 GPT-4 进行程序练习的反馈生成

    该研究探索了使用 GPT-4 Turbo 生成学生编程提交的反馈，研究结果显示相比 GPT-3.5，GPT-4 Turbo 在输出质量上有显著的改进，可以更准确地识别学生程序输出中的错误，并能为学生提供结构化和一致的反馈。此研究还增加了我们对大型语言模型在电子评估系统、教学场景和指导学生使用基于 GPT-4 的应用中潜力和限制的理解。

    Mar, 2024

  • AI 增强的编程练习自动修正：GPT-3.5 的有效性如何？

    本文探讨了人工智能在提供个性化代码改正和生成反馈方面的潜力，根据两个真实作业的学生提交进行了调查，结果显示 73% 的提交正确识别，并且在这些情况中，GPT-3.5 还成功生成了有效且高质量的反馈。

    Oct, 2023

  • 一种基于知识组成的方法论用于评估 AI 助手

    通过 GPT-4 大型语言模型提供的自动提示生成器，我们评估了一种针对 CS1 编程作业的系统，该系统提供关于学生如何改进错误解决方案的自然语言指导。我们回答了三个研究问题：RQ1. 提示是否帮助学生改进代码？RQ2. 提示在捕捉学生代码问题方面的效果如何？RQ3. 学生解决的问题与提示中提到的问题是否相同？通过定量分析，我们确定了一组细粒度的知识组件，并确定了每个练习、错误解决方案和生成的提示适用哪些组件。通过对两个大型的 CS1 课程数据进行对比，我们发现，访问提示有助于学生更快地解决代码问题，提示能够一致地捕捉到学生代码中最紧迫的错误，并且同时处理几个问题而不是单个 bug 的提示更有可能直接帮助学生取得进展。

    Jun, 2024

  • 评估大型语言模型在编程教育中生成反馈的应用

    该研究探讨了大型语言模型（特别是 GPT-4）在提升编程教育方面的应用。该研究介绍了一个利用 GPT-4 设计的网页应用，用于对编程任务提供反馈，但不提供解决方案。该网页应用在一个学期内进行了 51 名学生的评估，结果显示 GPT-4 生成的大部分反馈有效地解决了代码错误。然而，不正确的建议和虚构的问题导致进一步改进的需求。

    Mar, 2024

  • Hints-In-Browser：针对编程反馈生成的语言模型基准测试

    通过在浏览器中进行推理的新范式，基于生成技术的人工智能和大型语言模型能够在编程教育中生成个性化反馈和提示，本文通过基准测试语言模型在编程反馈生成中的质量、成本、时间和数据隐私等多个性能标准，展示了与浏览器推理引擎兼容的小型模型的反馈质量提升，并使用 WebLLM 的浏览器推理引擎在三个不同的 Python 编程数据集上展示了经过精调的 Llama3-8B 和 Phi3-3.8B 4 位量化模型的有效性，同时提供完整的实现、Web 应用和数据集以促进进一步的浏览器语言模型研究。

    Jun, 2024

  • 大学级编程课中人类、GPT-3.5 和 GPT-4 的性能比较

    ChatGPT 的变种 GPT-3.5 和 GPT-4 在大学级别的物理编码作业中，通过性能评估及有无提示工程与仅有学生作品和学生与 GPT-4 贡献混合类别相比较，共收集了 300 个数据点。研究发现，尽管 AI 生成的作品接近于大学生的质量，但常常可以被人类评估者发现。

    Mar, 2024

  • 评估 ChatGPT 和 GPT-4 在视觉编程中的应用

    生成式人工智能和大型语言模型在计算机教育领域有潜力通过自动生成个性化反馈和内容来大幅改善情况。本文研究了这些模型在文本编程教育领域的能力，但是对于常用于 K-8 编程教育的可视化编程领域的性能尚未探究。本研究评估了 ChatGPT 和 GPT-4 两个模型在不同场景的可视化编程领域中的表现，并通过专家评注进行了性能评估。结果显示这些模型在整合空间、逻辑和编程技能方面性能较差，为改进生成式模型在可视化编程中的表现提供了有趣的发展方向。

    Jul, 2023

  • GPT-4 和人类评分员对合成对话中赞扬给予学生的评估的比较分析

    研究发现，提供具体及时的反馈可以提高人类导师的表现，但由于评估导师表现的时间消耗性质，给出具体及时的反馈存在挑战，然而使用大语言模型 (如 AI-chatbot ChatGPT) 来为实际应用中的导师提供建设性反馈有潜力。 这项工作在导师 - 学生模式下评估了由 GPT-4 生成的 30 次对话，并将两种不同的提示方法进行比较：零 - shot 思维链和少 - shot 思维链，以识别基于五个标准的有效赞扬的具体组成部分，并通过与人类评分员的结果进行比较来评估 GPT-4 是否能够准确识别每个赞扬标准。研究发现，零 - shot 和少 - shot 思维链方法产生了相似的结果。 GPT-4 在识别导师提供具体和即时赞扬的情况下表现良好，但在识别导师提供真诚赞扬的能力方面表现不佳，尤其是在没有提供真诚导师赞扬语句的零 - shot 提示场景中。未来的研究将着重于增强提示工程，开发更普遍的导师评分表，并使用实际的导师对话来进行评估。

    Jul, 2023