Jan, 2024
从学生话语中预测挑战时刻：GPT-4与两种传统自然语言处理方法的比较
Predicting challenge moments from students' discourse: A comparison of
GPT-4 to two traditional natural language processing approaches
TL;DR本研究调查了利用专家知识规则模型、监督式机器学习模型和大型语言模型（LLM）从学生讨论中检测挑战和识别挑战维度（认知、元认知、情感和技术/其他挑战）的潜力。结果显示，监督式机器学习和LLM在两个任务中表现出色，而基于规则的方法则主要依赖专家设计的特征。该论文对自动检测和支持学生在协作学习活动中遇到的挑战时刻的三种方法的表现进行了广泛讨论。论文认为，尽管LLMs具有许多优势，但由于其缺乏可靠性以及在有效性评估、隐私和杂乱性方面存在问题，它们不太可能成为解决学习的社交共享调控的检测和反馈问题的万灵药。我们通过讨论额外的考虑因素来结束该论文，包括模型的透明度，以探索使用LLMs为学生和教育工作者提供可行且有意义的分析反馈。