Mar, 2023

大型语言模型 (GPT) 困难回答关于代码的多选题

PDF
TL;DR作者分析了三种不同的 GPT 模型（生成式预训练转换模型）在回答包括程序代码片段的多选题方面的有效性，发现包含代码片段的题目更加困难，这个发现可以帮助编程教育工作者适应他们的教学方法和评估，为学习者提供有意义的辅助。
generative pre-trained transformermultiple-choice questionsprogramming educationcode analysisassessment
发现论文，激发创造
  • AI 生成（GPT-4）与人工编写的编程教育选择题的比较研究

    通过分析 GPT-4 在高等教育的 Python 编程课程中生成的多项选择题（MCQs），我们发现 GPT-4 能够产生具有清晰语言、单一正确选项和高质量干扰项的 MCQs，并且这些生成的题目与学习目标高度一致。这些研究结果对于希望充分利用最先进生成模型来支持多项选择题的编写工作的教育工作者具有潜在价值。

    Dec, 2023

  • 生成式预训练转换器（GPT）能否通过高等教育编程课程的评估？

    本文评估了 GPT 在大学的 Python 编程课程中通过评估的能力，并研究了 GPT 模型如何利用自动评估程序提供的反馈。研究发现，这些模型都不能完全通过 Python 编程课程中的各种评估，但简单应用它们可以使学习者在入门和中级课程中获得非常好的分数。然而，这些模型存在某些局限性，如对需要复杂推理步骤的练习处理能力较差。因此，本文建议教师改变评估方式，使 GPT 变成学习者的有价值的辅助工具，而不是全自动解决方案。

    Mar, 2023

  • 巨型语言模型（GPT-4）的进步：通过高等教育编程课程的考核不再成为难题

    该研究对基于 GPT-4 模型的 Python 编程自动测试提供了详细的分析和实验结果，这表明自然语言处理技术在编程教育类中有很大的潜力，并且给程序设计教育提出了新的问题。

    Jun, 2023

  • 大型语言模型是否能够对医学问题进行推理？

    研究了 GPT-3.5 在实际世界中具有强大推理能力和专业领域知识的应用能力，使用了多项提示方法（CoT、零和少量训练以及检索增强），并在医学考试和阅读理解领域取得了人类水平表现。

    Jul, 2022

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • OpenAi 的 GPT4 作为编码助手

    本文研究了 GPT3.5 和 GPT4 作为编码助手的性能，测试结果表明 GPT4 具有卓越的性能，可以提高程序员的生产力并重组基于这些新工具的软件开发流程。

    Sep, 2023

  • 探索 GPT 模型在考试中的有效性：驾驶执照知识测试案例研究

    通过提供上下文信息，研究在问题回答任务中提出了一种方法，使得 GPT 模型能够回答问题，并发现模型的性能受到提示长度和上下文格式的影响。

    Aug, 2023

  • 使用 GPT-turbo 3.5 自动生成英语词汇多选填空问题

    使用大型语言模型自动生成填空题，并评估其有效性和适用性，通过生成适当的句子和选择合适的答案，以提高学生的词汇掌握水平。

    Mar, 2024

  • 大型语言模型生成程序代码的系统评估

    GPT-4 在生成编程代码方面表现优异，优于其他大型语言模型，具备在不同编程语言之间翻译和学习的强大能力，同时具备与人类程序员相当的代码生成效率，表明其在编程代码生成和软件开发中具备可靠的助手潜力。

    Mar, 2024

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023