神经对话辅导中的机遇与挑战
本研究分析了神经网络开放领域对话系统所学习的内部表示,并评估了这些表示的质量以学习基本的交谈技巧。结果表明,标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务,需要更多的研究来探讨建筑和训练方法,从而更好地捕捉有关对话的高级信息。
Jun, 2020
本文提出了一套在线对话教学指导数据集 DialogID,其中包含30,431个已有效标注的对话教学指导,通过预训练语言模型和提出的对抗训练学习范式大幅提高了对话指导检测的质量和泛化能力,取得了比基线方法更好的实验结果。
Jun, 2022
本文介绍了Tutoring bot,这是一个基于大规模家教-学生对话数据训练的生成式聊天机器人,用于辅助英语学习。机器人通过多种教育指导和背景知识来模仿人类辅导员在语言教育中的行为,同时通过多任务学习方案来实时监测并捕捉教学情况和进展。
Feb, 2023
本文介绍了一种用于收集大型语言模型生成对话的框架,用来收集MathDial数据集,这个数据集由约1.5k个多步骤数学词问题的辅导对话组成,并展示了该数据集具有丰富的教学特性,可以用于调整语言模型以成为更有效的辅导员,并强调了需要解决研究共同体的挑战。
May, 2023
通过评估多个基准生成模型在教育对话中提供信息和帮助学生的能力,本研究旨在模拟一个有知识的老师的角色,并发现GPT-4在教师-学生聊天记录子集上的优越性,测量标准是BERTScore和DialogRPT,同时注意到采样、代表性和对话完整性等数据集特征对微调模型的一般化能力造成了显著挑战,最终强调了对这些生成模型进行评估的需求,其中评估标准不仅依赖于对话连贯性和匹配的语言建模分布,而且还依赖于模型展示教学技巧的能力。
Jul, 2023
该研究调查两个生成模型在评估真实教师在应对学生数学错误方面的表现能力,发现 GPT-3.5-Turbo 和 GPT-4 都能够熟练评估与学生犯错有关的标准,但在识别学生错误的情况下存在局限性。未来的研究将致力于通过评估更多对话数据集和评估学习转化来提升泛化能力,进一步分析教师在真实场景中应对学生数学错误的表现。
Jan, 2024
在第二语言学习中,基于情景的对话实践对于语言学习者实现口语流利至关重要,本文提出了基于情境的对话模型,通过在大型语言模型(LLMs)上进行微调,旨在结合开放式对话的吸引力和基于情景任务的集中练习。利用LLMs的泛化能力,我们证明了我们的情境对话模型在训练话题和未遇到的话题上都有效,为支持广泛的会话主题提供了有希望的解决方案。此外,对话系统领域的研究仍缺乏可靠的自动评估指标,引发人工评估作为黄金标准(Smith等,2022)的问题,而且通常成本较高。为了解决现有评估方法的局限性,我们提出了一种新颖的自动评估方法,利用经过微调的LLMs来高效而有效地评估情境对话模型的性能。
Mar, 2024
利用Transformer架构的大型语言模型在教育领域引起了广泛关注,主要应用包括生成和评估教育材料、自动问题生成等,其中GTP-3和BERT是最受欢迎的模型。
May, 2024
本研究针对现有人工智能辅导聊天机器人的学生行为建模缺口,提出了在辅导-学生对话中进行知识追踪的首个尝试。通过使用大型语言模型的提示方法,我们能够识别对话中的知识组件并诊断学生的回应正确性,研究结果表明,新的LLMKT方法在对话中预测学生回应的正确性方面显著优于现有知识追踪方法。
Sep, 2024
本研究解决了对话式辅导系统中大型语言模型(LLMs)缺乏有效教学策略和高昂数据集成本的问题。我们提出了一种合成辅导对话数据集,并对小型LLM进行了微调,结果表明该模型在实际辅导场景中性能与大型模型相当,但成本显著降低,为教育环境中实施LLM辅导系统提供了可行且具有成本效益的方法。
Oct, 2024