Dec, 2023

AI 生成（GPT-4）与人工编写的编程教育选择题的比较研究

PDF
TL;DR通过分析 GPT-4 在高等教育的 Python 编程课程中生成的多项选择题（MCQs），我们发现 GPT-4 能够产生具有清晰语言、单一正确选项和高质量干扰项的 MCQs，并且这些生成的题目与学习目标高度一致。这些研究结果对于希望充分利用最先进生成模型来支持多项选择题的编写工作的教育工作者具有潜在价值。
large language modelsprogramming mcqsgpt-4learning objectivespython courses
发现论文，激发创造
  • 大型语言模型 (GPT) 困难回答关于代码的多选题

    作者分析了三种不同的 GPT 模型（生成式预训练转换模型）在回答包括程序代码片段的多选题方面的有效性，发现包含代码片段的题目更加困难，这个发现可以帮助编程教育工作者适应他们的教学方法和评估，为学习者提供有意义的辅助。

    Mar, 2023

  • 巨型语言模型（GPT-4）的进步：通过高等教育编程课程的考核不再成为难题

    该研究对基于 GPT-4 模型的 Python 编程自动测试提供了详细的分析和实验结果，这表明自然语言处理技术在编程教育类中有很大的潜力，并且给程序设计教育提出了新的问题。

    Jun, 2023

  • 利用 LLM 在课程设计中：使用 GPT-4 支持学习目标的编写

    通过评估 GPT-4 在人工智能实践课程中生成高质量学习目标的能力，本研究结果显示，自动生成的学习目标大多合理，表达准确，符合 Bloom 分类法的不同层次，可以用于支持课程和课程设计的工作。

    Jun, 2023

  • 提升教育中主动学习的生成式人工智能：基于 GPT-3.5 和 GPT-4 的个性化测试题比较研究

    研究了 LLMs，特别是 GPT-3.5 和 GPT-4，如何根据主动学习原则为九年级数学提供量身定制的问题。结果显示，GPT-4 能够生成准确、具有挑战性的问题，并且 GPT-3.5 在从 GPT-4 接受指导后在处理更复杂问题方面有了明显改善，从而突显了 LLMs 模拟和增强主动学习场景的潜力，为个性化教育中的人工智能提供了有前景的途径，需要在不同的教育环境中进一步探索。

    Jun, 2024

  • 数学多项选择题生成：人类 - 大型语言模型协同

    本文介绍了一个原型工具，旨在促进语言模型与教育工作者的合作，以简化数学多项选择题生成过程。我们进行了一项试点研究，涉及数学教育工作者，以调查该工具如何帮助他们简化高质量的数学多项选择题的制作过程。研究发现，虽然语言模型能够生成良好形式的问题提示，但其生成的干扰项无法涵盖常见的学生错误和误解。尽管如此，人工智能与人类的合作有潜力提高多项选择题生成的效率和有效性。

    May, 2024

  • 面向编程教育的生成式人工智能：ChatGPT、GPT-4 和人类导师的基准测试

    本研究系统评估了两种模型 (基于 GPT-3.5 的 ChatGPT 和 GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个 Python 编程问题和来自在线平台的真实有 bug 程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4 明显优于 ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

    Jun, 2023

  • 多项选择题与大型语言模型：以虚构医疗数据为例的案例研究

    利用模拟医学考题的方法评估大型语言模型在医学领域的表现，发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力，而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法，以更好地评估大型语言模型在医学背景下的真实能力。

    Jun, 2024

  • 利用预测提示和大型语言模型生成多项选择题干扰项

    通过从题库自动检索题目并将其用作合适的上下文示例，本研究提出了一种引导 ChatGPT 等大型语言模型生成相关干扰项的策略，通过对现有测试集进行数量评估和教师质量评注，我们发现教师评价中有 53% 的生成干扰项被评为高质量，即可立即使用，优于最先进的模型，与零样本 ChatGPT 和少样本 ChatGPT 通过静态示例进行比较，显示了我们方法在生成高质量干扰项方面的优势。

    Jul, 2023

  • 多选题自动生成和标记的知识组件

    我们使用 GPT-4 为高等教育课程中的化学和电子学习的多项选择题生成知识组件 (KCs)，并通过三名领域专家的评估，分析了大型语言模型 (LLM) 生成的 KCs 与人工生成的 KCs 之间的差异。评估结果显示，非匹配的 KCs 中，评估者有统计显著性地倾向于选择 LLM 生成的 KCs。我们还开发了一个本体归纳算法，根据题目内容将评估相似 KCs 的问题进行聚类。该研究推进了自动化生成和分类评估项目中的 KC，减轻了对学生数据或预定义 KC 标签的需求。

    May, 2024

  • 使用 GPT-4 进行程序练习的反馈生成

    该研究探索了使用 GPT-4 Turbo 生成学生编程提交的反馈，研究结果显示相比 GPT-3.5，GPT-4 Turbo 在输出质量上有显著的改进，可以更准确地识别学生程序输出中的错误，并能为学生提供结构化和一致的反馈。此研究还增加了我们对大型语言模型在电子评估系统、教学场景和指导学生使用基于 GPT-4 的应用中潜力和限制的理解。

    Mar, 2024