Apr, 2024
使用语言模型评估教育中的教学质量的优点与缺陷
The Promises and Pitfalls of Using Language Models to Measure
Instruction Quality in Education
TL;DR评估教学质量是教育系统改进的基本组成部分。本研究首次运用自然语言处理技术来评估两种不同教育环境中的多项高推断教学实践，包括线下K-12班级和面向未来教师的模拟表现任务，并将NLP应用于广泛认可对特殊需要学生特别有效的教学实践的度量。结果表明，预训练语言模型在较为离散且需要较低推断的变量上表现与人类评分者的一致性相当，但在更复杂的教学实践上表现逐渐减弱。有趣的是，仅使用教师的话语作为输入对学生中心的变量产生了强大的结果，缓解了在线下教学环境中收集和转录高质量学生语音数据的难度问题。本研究发现了当前教育领域自然语言处理技术的潜力和局限性，并为进一步研究开辟了新的途径。