基于大型语言模型的学习表现预测:一个成年识字能力的研究
本论文探讨了在教学设计中利用大型语言模型(LLMs),尤其是 GPT-4 的全面应用。我们关注以缩小理论教育研究和实际实施之间的差距为目的,通过扩大基于证据的教学设计专业知识的规模。本文讨论了 AI 驱动内容生成的益处和局限性,强调人为监督保证教育材料质量的必要性。我们通过两个详细的案例研究阐释了这一工作,其中应用 GPT-4 创建了复杂的高阶评估和不同课程的主动学习组成部分。根据我们的经验,我们提供有效使用 LLM 的最佳实践,如利用模板,微调,处理意外输出,实施 LLM 链,引用参考文献,评估输出,创建量表,评分和生成干扰项。我们还分享了我们对未来的推荐系统的愿景,该推荐系统可以根据用户的独特教育背景,定制 GPT-4 从教育研究中提取教学设计原则,并创建个性化的、具备证据支持的策略。本研究有助于理解和最大限度地利用 AI 驱动的语言模型潜力,以增强教育成果。
May, 2023
该研究介绍了一项评估七种主要大型语言模型(LLMs)在商业教育领域的性能的基准测试,同时研究还证明了大多数 LLMs 在 GMAT 考试中的出色表现,特别是 GPT-4 Turbo 超越了研究生和商学院的平均分数。此研究确定了人工智能在教育领域的潜力,并强调了在发展和应用人工智能时的一些挑战和需求。
Jan, 2024
该研究对基于 GPT-4 模型的 Python 编程自动测试提供了详细的分析和实验结果,这表明自然语言处理技术在编程教育类中有很大的潜力,并且给程序设计教育提出了新的问题。
Jun, 2023
该论文研究了大型语言模型(LLMs)ChatGPT-3.5 和 GPT-4 在解决入门级编程任务中的表现,并根据表现得出了利用 LLMs 进行教学场景和评估格式的暗示。研究选取了来自免费网站 CodingBat 的 72 个针对初学者的 Python 任务,使用完整任务描述作为 LLMs 的输入,通过 CodingBat 的单元测试评估生成的回复。此外,还分析了文本解释和程序代码的普遍可用性。结果显示得分高,正确响应率为 94.4%至 95.8%,同时文本解释和程序代码的可用性可靠,从而为将 LLMs 纳入编程教育和评估中打开了新的途径。
Aug, 2023
自动短答案评分(ASAG)是一个活跃的机器学习研究领域已有十多年的时间。它承诺即使在人工评分师有限的情况下,让教育者对大班课中的自由回答进行评分和反馈。近年来,经过精心训练的模型已经取得了越来越高的性能水平。最近,预训练的大型语言模型(LLMs)作为一种通用工具出现了,并且引发了一个有趣的问题,即没有额外训练的通用工具与专门模型相比如何。我们研究了 GPT-4 在标准基准 2 路和 3 路数据集 SciEntsBank 和 Beetle 上的性能,除了评分学生答案与参考答案的对齐标准任务外,还研究了不透露参考答案的情况。我们发现,总体而言,预训练的通用 GPT-4 LLM 的性能与手工设计的模型相当,但比经过专门训练的 LLMs 差。
Sep, 2023
本研究评估了大型语言模型(LLMs)GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力,并应用自然语言处理的方法,通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标,从而展示了 LLMs 在洞察力提取方面的巨大潜力。
Sep, 2023
研究调查了大型语言模型(LLMs),特别是 GPT-4 和经过精细调整的 GPT-3.5 作为自动作文评分(AES)系统的工具的有效性。实验结果显示 LLM-based AES 系统具有卓越的准确性、一致性、泛化能力和可解释性,并超越传统评分模型,同时也提高人工评分员的表现。
Jan, 2024
近年来,在自然语言处理方面取得突破性进展的大型语言模型(LLM)的出现,展示了其在包括理解、生成和翻译自然语言甚至超越语言处理的任务方面的卓越能力。本文报告中,我们深入研究了 LLM 在科学发现环境中的性能,重点关注 GPT-4,这一最先进的语言模型。我们的调查涉及药物发现、生物学、计算化学(密度泛函理论(DFT)和分子动力学(MD))、材料设计和偏微分方程(PDE)等多个科学领域。评估 GPT-4 在科学任务上的表现对于揭示其在各个研究领域中的潜力、验证其特定领域的专长、加速科学进展、优化资源分配、指导未来模型发展以及促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估,提供对模型理解复杂科学概念和关系的定性洞见,以及偶尔的基准测试,定量评估模型解决明确定义的特定领域问题的能力。我们的初步探索表明,GPT-4 在各种科学应用中展示出有希望的潜力,显示出处理复杂问题解决和知识整合任务的能力。总体而言,我们评估了 GPT-4 的知识库、科学理解、科学数值计算能力以及各种科学预测能力。
Nov, 2023