利用 LLM 强化代理模拟课堂教育
利用大型语言模型模拟学生学习行为,揭示学习行为与测试问题、课程材料、参与度和理解水平之间的关联,加深我们对大型语言模型的理解,展示其对学生模拟的可行性,从而为更具适应性的课程设计提供支持,增强包容性和教育效果。
Oct, 2023
通过与大型语言模型合作,我们设计了具有多个虚拟学生角色的 MATHVC 虚拟教室,以帮助学生练习数学建模技能,并验证了该模拟方法的有效性。
Apr, 2024
应用大型语言模型(LLMs)在各种任务和社会模拟中取得了显著进展,但它们在任务导向的社会背景中的协调能力尚未得到充分探索。为了弥合这一差距,我们引入了协作生成代理,为基于 LLMs 的代理赋予一致的行为模式和解决任务的能力。我们将这些代理置于一个模拟的招聘会环境中进行案例研究,以审查它们的协调能力。我们提出了一个新颖的框架,赋予协作生成代理人类般的推理能力和专业技能。我们的评估结果表明,这些代理显示出有希望的性能。然而,我们也发现了限制,阻碍了它们在更复杂的协调任务中的效果。我们的工作对于 LLMs 在任务导向的社会模拟中的作用和发展提供了有价值的见解。
Oct, 2023
大规模语言模型与基于代理的仿真的整合对于理解复杂社会系统具有变革潜力,本文探讨了系统开发 LLM 增强的社会仿真的架构和方法,并讨论了该领域的潜在研究方向。结论表明,将 LLM 与基于代理的仿真相结合为研究人员和科学家提供了强大的工具集,能够生成更细致、逼真和全面的复杂系统和人类行为模型。
May, 2024
该研究提出了一种新的生成代理框架 EduAgent,结合认知先验知识来引导大型语言模型首先推理各种行为之间的相关性,然后进行模拟,实现对真实学生和虚拟学生学习行为的模仿、预测和生成。
Mar, 2024
通过将强化学习与大型语言模型结合,研究了在开放性文本学习环境中增强代理的泛化能力,提出了三种代理类型:基于强化学习的代理、基于大型语言模型的代理和融合两者的混合代理,以提高代理的性能和泛化能力,并通过 PharmaSimText 提供的基准测试验证了研究成果。结果表明,基于强化学习的代理在任务完成方面表现出色,但在提问诊断问题方面有所欠缺;相反,基于大型语言模型的代理在提问诊断问题方面表现较好,但在完成任务方面表现较差;而混合的大型语言模型辅助强化学习代理能够克服这些限制,凸显了将强化学习和大型语言模型相结合在开放性学习环境中开发高性能代理的潜力。
Apr, 2024
个性化聊天机器人教学助手在解决教室规模扩大的问题上至关重要,特别是在教师直接存在有限的情况下。大型语言模型(LLM)提供了一个有前途的途径,不断有研究探索它们在教育上的实用性。然而,挑战不仅在于建立 LLM 的效能,而且还在于理解学习者与这些模型之间的互动细微差别,这会影响学习者的参与和结果。我们在一个本科计算机科学课堂(N=145)进行了一个形成性研究,并在 Prolific(N=356)上进行了一项受控实验,探索四种教学指导策略的影响以及学生方法与 LLM 响应之间的互动关系。直接的 LLM 答案稍微提高了表现,而改进学生解决方案培养了信任。我们的发现表明,所提供的指导和 LLM 在回答或改进学生输入方面的角色之间存在微妙的关系。根据我们的发现,我们提供了优化学习者 - LLM 互动的设计建议。
Oct, 2023
使用大型语言模型构建的用户搜索行为模拟器在查询生成方面优于现有方法,并在预测用户点击和停止行为方面可与传统方法媲美。这些结果不仅验证了使用大型语言模型进行用户模拟的有效性,还为更强大和通用的用户模拟器的开发提供了启示。
Mar, 2024
通过使用大规模语言模型,我们提出了一种新的框架,通过从语言模型教师代理接收指导行为,训练一个小规模专用的学生代理。通过将语言模型的先验知识融入到本地学生模型中,该学生代理可以用较少的数据进行训练,并通过环境反馈进一步提升其能力。实验结果表明,我们的方法提高了样本效率,并实现了比基准方法更卓越的性能。
Nov, 2023