Apr, 2024
Ruffle&Riley: 设计和评估基于大型语言模型的对话教学系统的洞察
Ruffle&Riley: Insights from Designing and Evaluating a Large Language
Model-Based Conversational Tutoring System
TL;DR利用大型语言模型的最新进展，本论文讨论和评估了一种新型的会话式辅导系统，通过两种方式利用人工智能辅助内容编写，并自动从课文中诱导出易于编辑的辅导脚本，通过两种基于大型语言模型的代理（Ruffle&Riley）作为学生和教授自动化脚本编排来进行学习。通过与简单的问答聊天机器人和阅读活动进行比较的两次在线用户研究（N = 200）评估了Ruffle&Riley在生物学课程中的支持能力。通过分析系统使用模式、前后测试成绩和用户体验调查，发现Ruffle&Riley用户报告了较高水平的投入、理解，并认为提供的支持是有帮助的。虽然Ruffle&Riley用户完成活动需要更多时间，但在短期学习收益方面并未发现显著差异。本系统架构和用户研究为未来会话式辅导系统的设计者提供了各种见解。我们进一步开源了我们的系统以支持关于基于大型语言模型的学习技术有效教学设计方面的持续研究。