EMNLPOct, 2023

运用语言模型模拟生成与评估 K-12 学生的测试：基于句子阅读效率的案例研究

PDF
TL;DR通过对大规模语言模型进行微调，以模拟先前学生对未见过的测试项目的响应，生成具有高质量的平行测试，并且通过对成千上万名 K-12 学生进行评估，证明生成的测试与人工专家编写的标准测试的难度和可靠性高度相关。
educational testparallel testssilent sentence reading efficiencyfine-tune large language modelsoptimal-transport-inspired technique
发现论文，激发创造
  • 大型语言模型自动生成与评估阅读理解测试题

    使用大型语言模型生成和评估阅读理解测试题目是一个有前途的方法，特别适用于没有足够可用数据的语言。

    Apr, 2024

  • LLMs 能评分短答阅读理解题：适用于低收入国家的基础识字能力评估

    利用生成型大型语言模型（即 GPT-4）有望可靠地评估短答阅读理解问题，并通过使用新的数据集和自动评分过程提供了改进基础扫盲教育的可能性。

    Oct, 2023

  • 大型语言模型是否能胜任？一项实证研究评估 LLM 评分 K-12 教育中的简答题能力

    这篇论文讨论了使用大型语言模型（LLMs）对开放文本短答案问题进行评分的实验，研究了不同组合的 GPT 版本和提示工程策略在标记真实学生答案时的性能表现，并发现 GPT-4 在这方面表现良好与人类级别接近。这一研究对于支持 K-12 教育中的低风险形成性评估任务具有重要意义。

    May, 2024

  • LLM 认知能力的高效测量：自适应测试视角

    提出了一种采用自适应测试框架评估大型语言模型的方法，该方法可以根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使得大型语言模型可以与人类进行比较，同时该方法可以使用更少的问题，从而更加高效。对 ChatGPT 等 6 种模型进行了细粒度诊断，并通过不同测试发现 GPT4 模型在主题知识、数理推理和编程方面表现优异，可以达到中等水平学生的认知能力水平。

    Jun, 2023

  • 教育的未来：使用大型语言模型模拟口试的原型

    本研究探讨了大型语言模型在高等教育中的影响，重点是通过原型实现自动口试模拟。描述了原型的设计考虑，并对教育工作者和学生进行了评估。讨论了技术和教育观察结果。该原型在模拟口试、提供个性化反馈和简化教育工作者工作量方面表现出了良好的效果。原型的有 promising 结果显示了大型语言模型在普及教育、包容多样化学生群体以及提高教学质量和效率方面的潜力。

    Dec, 2023

  • 使用 LLMs 评估学生的开放式书面答案：基于 RAG 框架，针对 GPT-3.5，GPT-4，Claude-3 和 Mistral-Large 进行

    教育工作者评估开放式书面考试答案是一项需要大量精力、一致性和准确性的重要任务。本研究探索了大型语言模型在评估大学生对参考资料提出的开放式问题的答案时的效果，发现 LLMs 的一致性和评分结果存在显著差异。进一步的比较研究对于确定使用 LLMs 进行教育评估的准确性和成本效益至关重要。

    May, 2024

  • 基于错误人工评估的 GPT-4 在句子简化中的深入评估

    通过设计错误基础的人类注释框架来评估 GPT-4 在句子简化方面的能力，进一步深入了解大型语言模型的性能，同时确保评估的可靠性。该研究发现 GPT-4 相对于现有最先进的模型来说，普遍生成较少错误的简化输出，但在词汇转述方面仍然存在限制。此外，我们对广泛使用的自动评估指标进行了元评估，发现这些指标在评估 GPT-4 的高质量简化整体能力上缺乏足够的敏感性。

    Mar, 2024

  • 评估大型语言模型在生成准确教师回应方面的有效性

    通过评估多个基准生成模型在教育对话中提供信息和帮助学生的能力，本研究旨在模拟一个有知识的老师的角色，并发现 GPT-4 在教师 - 学生聊天记录子集上的优越性，测量标准是 BERTScore 和 DialogRPT，同时注意到采样、代表性和对话完整性等数据集特征对微调模型的一般化能力造成了显著挑战，最终强调了对这些生成模型进行评估的需求，其中评估标准不仅依赖于对话连贯性和匹配的语言建模分布，而且还依赖于模型展示教学技巧的能力。

    Jul, 2023

  • 基于大型语言模型的教育调查反馈分析

    本研究评估了大型语言模型（LLMs）GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力，并应用自然语言处理的方法，通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标，从而展示了 LLMs 在洞察力提取方面的巨大潜力。

    Sep, 2023

  • 测量大规模多任务语言理解

    论文提出了一种新的测试方法，以测量文本模型的多任务准确性，涵盖了包括数学、历史、计算机科学、法律等 57 项任务，为了达到高准确性，模型必须具备丰富的世界知识和问题解决能力。通过综合评估模型的学术和专业理解的广度和深度，我们的测试可以用于分析许多任务中的模型并确定重要的缺陷。

    Sep, 2020