利用生成文本模型为学生教学评价创造定性编码书
本研究评估了大型语言模型(LLMs)GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力,并应用自然语言处理的方法,通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标,从而展示了 LLMs 在洞察力提取方面的巨大潜力。
Sep, 2023
SETSum 是一种利用情感分析、方面提取、摘要和可视化技术提供有组织的教师评价结果的系统,可帮助教师更有效地解释评价结果,并且有潜力改革未来的 SET 报告惯例。
Jul, 2022
探索大型语言模型在计算机教育和学习中的潜力,通过分析其对带有程序代码的输入生成的反馈进行研究,以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明,大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能,但教育者应提供指导,因为其提供的反馈可能对初学者包含误导性信息。
Aug, 2023
评估教学质量是教育系统改进的基本组成部分。本研究首次运用自然语言处理技术来评估两种不同教育环境中的多项高推断教学实践,包括线下 K-12 班级和面向未来教师的模拟表现任务,并将 NLP 应用于广泛认可对特殊需要学生特别有效的教学实践的度量。结果表明,预训练语言模型在较为离散且需要较低推断的变量上表现与人类评分者的一致性相当,但在更复杂的教学实践上表现逐渐减弱。有趣的是,仅使用教师的话语作为输入对学生中心的变量产生了强大的结果,缓解了在线下教学环境中收集和转录高质量学生语音数据的难度问题。本研究发现了当前教育领域自然语言处理技术的潜力和局限性,并为进一步研究开辟了新的途径。
Apr, 2024
研究表明,学习者参与制作解释以支持他们的推理过程,对学习有积极影响。本文介绍了两种方法,可供教师在在线课程中提供实时反馈,并介绍了采用大型语言模型促进的命名实体识别的增强方法的进展。
Jun, 2023
本研究提供了一个大的数据集,开发了一种标准对学生的评论进行分类,并提出了一种使用大型语言模型进行评论分类的最佳实践,从而建立了一个低成本的定量研究自动化体系,来处理海量的在线学生反馈。
Jun, 2023
该研究探讨了大型语言模型(特别是 GPT-4)在提升编程教育方面的应用。该研究介绍了一个利用 GPT-4 设计的网页应用,用于对编程任务提供反馈,但不提供解决方案。该网页应用在一个学期内进行了 51 名学生的评估,结果显示 GPT-4 生成的大部分反馈有效地解决了代码错误。然而,不正确的建议和虚构的问题导致进一步改进的需求。
Mar, 2024
本研究旨在通过使用 NLP 技术自动生成课堂讨论质量的评估得分,对 90 个课堂讨论文本记录进行分析和评估,在焦点为四个评估材料的基础上,研究表明在某些方面有了令人鼓舞的结果,同时也发现在其他方面还有进一步的改进空间。
Jun, 2023
本文利用神经网络将程序编码成一个从预置条件空间到后置条件空间的线性映射,提出了一种利用这些线性映射作为特征的规模反馈算法,并将其应用于 Code.org Hour of Code 和 Stanford University 的 CS1 课程的编程测评中。
May, 2015