Sep, 2023

GPT-4 大型预训练语言模型在自动化短答案评分中的表现

PDF
TL;DR自动短答案评分（ASAG）是一个活跃的机器学习研究领域已有十多年的时间。它承诺即使在人工评分师有限的情况下，让教育者对大班课中的自由回答进行评分和反馈。近年来，经过精心训练的模型已经取得了越来越高的性能水平。最近，预训练的大型语言模型（LLMs）作为一种通用工具出现了，并且引发了一个有趣的问题，即没有额外训练的通用工具与专门模型相比如何。我们研究了 GPT-4 在标准基准 2 路和 3 路数据集 SciEntsBank 和 Beetle 上的性能，除了评分学生答案与参考答案的对齐标准任务外，还研究了不透露参考答案的情况。我们发现，总体而言，预训练的通用 GPT-4 LLM 的性能与手工设计的模型相当，但比经过专门训练的 LLMs 差。
automated short answer gradingmachine-learningpre-trained large language modelsgpt-4performance
发现论文，激发创造
  • 大型语言模型是否能胜任？一项实证研究评估 LLM 评分 K-12 教育中的简答题能力

    这篇论文讨论了使用大型语言模型（LLMs）对开放文本短答案问题进行评分的实验，研究了不同组合的 GPT 版本和提示工程策略在标记真实学生答案时的性能表现，并发现 GPT-4 在这方面表现良好与人类级别接近。这一研究对于支持 K-12 教育中的低风险形成性评估任务具有重要意义。

    May, 2024

  • 基于 LLM 的短文本答案自动评分方法探究

    通过评估大型语言模型在自动评分方面的可行性，并强调大型语言模型如何支持教育工作者验证评分程序，研究表明，虽然 “开箱即用” 的大型语言模型提供了宝贵的工具来提供补充视角，但它们对于独立自动评分的准备工作仍然是一个尚未完成的工作，需要人工监督。

    Sep, 2023

  • 从自动化到增强：大语言模型提升作文评分领域

    研究调查了大型语言模型（LLMs），特别是 GPT-4 和经过精细调整的 GPT-3.5 作为自动作文评分（AES）系统的工具的有效性。实验结果显示 LLM-based AES 系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

    Jan, 2024

  • GPT-4 作为评估器：在农业中评估大型语言模型的农害管理

    通过对农业领域（特别是害虫管理）中人工智能大型语言模型（LLMs）生成的害虫管理建议内容进行评估，证明了人工智能大型语言模型在农业中的可行性，并且通过创新方法使用 GPT-4 作为评估器，在相关领域专家系统的基础上，综合评分，显示出 GPT-3.4 和 GPT-4 在大多数评估类别中优于 FLAN 模型，验证了人工智能大型语言模型在提供农业害虫管理建议方面的有效性和准确性（准确率为 72%）。

    Mar, 2024

  • 使用大型语言模型回答农业考试：GPT-4 作为农艺师助手？

    GPT-4 在农业相关问题上表现出色，可通过考试获得农学家的认证，为农民和农业专业人员提供有价值的洞见。

    Oct, 2023

  • 基于算法问题的 GPT-4 评测：对提示策略的系统评估

    GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。

    Feb, 2024

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 评估大型语言模型在课堂对话分析中的应用

    该研究探讨了大型语言模型（LLM），特别是 GPT-4，在课堂对话分析中的应用，这是教学诊断和质量改进的关键研究任务。研究发现传统定性方法在教育研究中具有知识密集和劳动密集的特点，调查了 LLM 在简化和增强分析过程方面的潜力。通过对中学的数据集进行分析，包括数学和语文课堂的对话，该研究对人工编码的对话进行了评估，并使用定制的 GPT-4 模型进行了分析。该研究重点比较了手动注释和 GPT-4 输出，以评估其在教育对话分析中的有效性。评估了 GPT-4 的时间效率、编码者间一致性和编码者间可靠性。结果表明，使用 GPT-4 能够显著节省时间，并且模型与人工编码者之间具有高度的一致性，尽管在某些代码上存在差异。这些发现凸显了 LLM 在教学评估和促进方面的巨大潜力。

    Feb, 2024

  • 大型语言模型用于方面级情感分析

    使用零痕迹、少痕迹和微调模型在纵向情感分析任务上评估了 GPT-4 和 GPT-3.5 的性能，结果显示微调的 GPT-3.5 在 SemEval-2014 任务 4 的联合方面术语提取和极性分类任务上获得了 83.8 的最优 F1 分数，比 InstructABSA 提高了 5.7%，但模型参数增加了 1000 倍，推理成本也增加了。我们讨论了不同模型的性价比和分析了它们的典型错误。同时，我们的研究结果表明，在零痕迹和少痕迹环境中，详细提示可以提高性能，但对于微调模型来说并非必要。这些证据对于在 ABSA 中使用 LLMs 时面临提示工程和微调选择的实践者具有相关性。

    Oct, 2023

  • 基于大型语言模型的学习表现预测：一个成年识字能力的研究

    应用大型语言模型，如 GPT-4，预测智能辅导系统中成人识字课程的学习表现。研究表明，GPT-4 与传统机器学习方法在预测学习表现方面具有竞争力，而 GPT-4 与 XGBoost 的结合在性能上优于本地机器执行。此外，研究发现 GPT-4 与网格搜索相比具有可比性表现，并且将大型语言模型与传统机器学习模型整合可提高预测准确性，个性化成人识字教育。

    Mar, 2024