ACLApr, 2024

使用语言模型评估教育中的教学质量的优点与缺陷

PDF
TL;DR评估教学质量是教育系统改进的基本组成部分。本研究首次运用自然语言处理技术来评估两种不同教育环境中的多项高推断教学实践，包括线下 K-12 班级和面向未来教师的模拟表现任务，并将 NLP 应用于广泛认可对特殊需要学生特别有效的教学实践的度量。结果表明，预训练语言模型在较为离散且需要较低推断的变量上表现与人类评分者的一致性相当，但在更复杂的教学实践上表现逐渐减弱。有趣的是，仅使用教师的话语作为输入对学生中心的变量产生了强大的结果，缓解了在线下教学环境中收集和转录高质量学生语音数据的难度问题。本研究发现了当前教育领域自然语言处理技术的潜力和局限性，并为进一步研究开辟了新的途径。
instruction qualitynatural language processing (nlp)high-inference instructional practicesteaching practicepretrained language models (plms)
发现论文，激发创造
  • 评估和优化大型语言模型的教育内容

    利用语言模型作为教育专家评估不同学生群体学习成果的方法，以优化教育材料。这种方法可以复制已有的教育研究结果，如专业逆转效应和变异效应，展示了语言模型作为可靠教育内容评估者的潜力。基于此，我们介绍了一种通过一个语言模型生成教育材料，另一个语言模型作为奖励函数进行指令优化的方法，并在数学问题工作表领域应用了这一方法，以最大化学生的学习收益。人类教师对这些由语言模型生成的工作表进行评估，发现语言模型的判断与人类教师的偏好具有显著的一致性。最后，我们讨论了人类和语言模型之间的潜在分歧和自动化教学设计带来的陷阱。

    Mar, 2024

  • 自然语言处理在课堂讨论自动评估中的应用

    本研究旨在通过使用 NLP 技术自动生成课堂讨论质量的评估得分，对 90 个课堂讨论文本记录进行分析和评估，在焦点为四个评估材料的基础上，研究表明在某些方面有了令人鼓舞的结果，同时也发现在其他方面还有进一步的改进空间。

    Jun, 2023

  • 分析大型语言模型在课堂讨论评估中的应用

    借助大型语言模型（LLMs）等新的自然语言处理技术，自动评估课堂讨论质量变得越来越可行。本文研究了两种 LLMs 的评估性能如何与任务制定、上下文长度和少样本示例等三个可能影响性能的因素相互作用。我们还探讨了两种 LLMs 的计算效率和预测一致性。结果表明，前述三个因素确实影响了被测试 LLMs 的性能，并且预测一致性与性能之间存在关系。我们建议采用以 LLMs 为基础的评估方法，在预测性能、计算效率和一致性方面取得良好平衡。

    Jun, 2024

  • 评估语言模型的零样本鲁棒性

    本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入 “软提示” 嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

    Jun, 2023

  • 利用大型语言模型为人类导师提供解释性反馈

    研究表明，学习者参与制作解释以支持他们的推理过程，对学习有积极影响。本文介绍了两种方法，可供教师在在线课程中提供实时反馈，并介绍了采用大型语言模型促进的命名实体识别的增强方法的进展。

    Jun, 2023

  • 生成模型的自动评估与指令调优

    基于指令调优的学习度量可以提供自然语言生成的自动评估，通过对多任务的联合训练，可以进一步改善性能，对未来的少量或无人标注数据的任务具有积极意义。

    Oct, 2023

  • 提升教学质量：利用计算机辅助文本分析从教育资料中生成深度洞察

    通过对教育文本的深度洞察，本文探讨了计算机辅助文本分析在提高教学质量方面的转变潜力，结合 Richard Elmore 的教学核心框架，研究了人工智能和机器学习方法特别是自然语言处理在分析教育内容、教师论述和学生反馈方面的作用，从教师指导、学生支持和内容开发等关键领域发现了 AI/ML 集成的重要优势，并揭示了 AI/ML 的模式，不仅可以简化行政任务，还可以为个性化学习引入新的途径，为教育工作者提供可操作的反馈，为教学动态提供更深入的理解。本文强调将 AI/ML 技术与教学目标相一致，实现其在教育环境中的充分潜力，提倡平衡的方法，包括考虑道德考虑、数据质量和融合人类专业知识。

    Mar, 2024

  • INSTRUCTEVAL：面向指导调整的大语言模型的全面评估

    INSTRUCTEVAL 是一个全面的评估套件，旨在评估大型语言模型在指令调整下的表现，其结果表明，指令数据的质量是影响模型性能的最重要因素，并且从问题解决能力和与人类价值观的一致性方面，这些模型还有很大的提升空间。

    Jun, 2023

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • 大型语言模型中的论证质量评估

    对有争议问题的论述的计算处理在自然语言处理领域进行了广泛研究，其中论证质量评估是一个关键且具有挑战性的任务。本文提出了利用大型语言模型，通过系统指导其熟悉论证理论和场景以及解决相关问题的方式，以实现更可靠的论证质量评估，同时讨论了由此而产生的现实机遇和道德问题。

    Mar, 2024