Mar, 2023

生成式预训练转换器（GPT）能否通过高等教育编程课程的评估？

PDF
TL;DR本文评估了 GPT 在大学的 Python 编程课程中通过评估的能力，并研究了 GPT 模型如何利用自动评估程序提供的反馈。研究发现，这些模型都不能完全通过 Python 编程课程中的各种评估，但简单应用它们可以使学习者在入门和中级课程中获得非常好的分数。然而，这些模型存在某些局限性，如对需要复杂推理步骤的练习处理能力较差。因此，本文建议教师改变评估方式，使 GPT 变成学习者的有价值的辅助工具，而不是全自动解决方案。
generative pre-trained transformerspython programming coursesassessmentauto-gradereducation
发现论文，激发创造
  • 巨型语言模型（GPT-4）的进步：通过高等教育编程课程的考核不再成为难题

    该研究对基于 GPT-4 模型的 Python 编程自动测试提供了详细的分析和实验结果，这表明自然语言处理技术在编程教育类中有很大的潜力，并且给程序设计教育提出了新的问题。

    Jun, 2023

  • 大型语言模型 (GPT) 困难回答关于代码的多选题

    作者分析了三种不同的 GPT 模型（生成式预训练转换模型）在回答包括程序代码片段的多选题方面的有效性，发现包含代码片段的题目更加困难，这个发现可以帮助编程教育工作者适应他们的教学方法和评估，为学习者提供有意义的辅助。

    Mar, 2023

  • GPT 语言模型在大学教学创新中的应用

    GPT (Generative Pre-trained Transformer) 是一种人工智能和自然语言处理技术，能够自动生成文本。本文主要研究了将 GPT 语言模型应用于大学教学的各个方面，包括学生和教师活动的创新、内容理解与生成、问题解决、个性化和试卷批改等。同时，作者还在软件工程等领域进行了详细实验，评估了 ChatGPT 作为助理工具在理论活动、习题和实验实践中的潜在应用价值。

    Mar, 2024

  • 当自动评估遇上自动内容生成：审视 GPT 时代的文本质量

    基于机器学习模型对文本数据进行评分的使用已广泛应用于自然语言处理、信息检索、搜索和推荐以及在线内容的可信度评估等领域。这项研究通过实证评估以人工创作和生成预训练变换器（GPT）的文本评估模型之间的差异，发现转换器预训练语言模型（PLM）相对于传统的深度学习和基于特征的机器学习模型更准确地评分人工文本质量，但相对于人工创作的文档，GPT 生成的文本评分平均要高出 10-15％。这一研究对于文本分类设置中的自动评分受到生成 AI 的干扰具有重要的意义。

    Sep, 2023

  • 面向编程教育的生成式人工智能：ChatGPT、GPT-4 和人类导师的基准测试

    本研究系统评估了两种模型 (基于 GPT-3.5 的 ChatGPT 和 GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个 Python 编程问题和来自在线平台的真实有 bug 程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4 明显优于 ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

    Jun, 2023

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • 通过 Codewars 的 Katas 评估 GPT 的编程能力

    本研究评估了 GPT-3.5 和 GPT-4 编程模型的编程熟练度，这些模型对于不同难度级别的编程问题的求解存在明显的局限性，作者提出了一个融合了问题难度和解题时间的编程问题复杂性度量标准，并强调了需要在 AI 模型中加入验证和创造性思维能力以更好地模拟人类问题解决技术的必要性。

    May, 2023

  • GPT 能力驱动的网络安全培训：有效意识的个性化方法

    本研究探讨了传统网络安全意识培训计划的局限性，并提出了一种创新解决方案，使用生成型预训练转换器 (GPT) 来解决这些问题。该研究将 GPT 模型与自然语言处理能力相结合，根据个体培训者的个人资料个性化定制培训模块，从而提供高度个性化和动态的网络安全学习体验。通过使用 GPT 模型提供实时和自适应的网络安全意识培训内容，实验证明了与传统计划相比，在引发兴趣、动态性和相关性等方面都取得了显著改善。GPT 强化的网络安全意识培训计划为提升网络安全意识提供了可扩展且有效的解决方案，为个体在组织内的特定角色中更好地应对网络安全风险提供了个性化的培训内容。

    May, 2024

  • 拥抱生成 AI 革命：利用 GPT 推进网络安全的高等教育

    本研究调查了生成式人工智能技术（特别是 ChatGPT 等生成式预训练变形器模型）对网络安全的影响，并提出了针对大学的课程改革的建议，以满足行业不断发展的需求。我们的研究强调了理解生成式人工智能的 “心智模型” 与人类认知之间的对齐的重要性，以及根据布卢姆分类对生成式人工智能能力进行人类技能提升。通过分析当前教育实践、课程与行业需求的对齐，我们得出了一个结论，即提供网络安全等实践性学位的大学应密切与行业需求对齐，并接受不可避免的生成式人工智能革命，同时应用严格的伦理监督以确保负责任地使用生成式人工智能。我们提出了一系列关于更新大学课程、促进大学的灵活性、促进学术界、行业和决策者之间的合作以及评估和评价教育成果的建议。

    Mar, 2024

  • 评估 ChatGPT 和 GPT-4 在视觉编程中的应用

    生成式人工智能和大型语言模型在计算机教育领域有潜力通过自动生成个性化反馈和内容来大幅改善情况。本文研究了这些模型在文本编程教育领域的能力，但是对于常用于 K-8 编程教育的可视化编程领域的性能尚未探究。本研究评估了 ChatGPT 和 GPT-4 两个模型在不同场景的可视化编程领域中的表现，并通过专家评注进行了性能评估。结果显示这些模型在整合空间、逻辑和编程技能方面性能较差，为改进生成式模型在可视化编程中的表现提供了有趣的发展方向。

    Jul, 2023