Sep, 2023

Ruffle&Riley: 自动引导的对话辅导系统

PDF
TL;DR自然语言交互式会话教学系统 (CTS) 通过提供与语言互动驱动的学习经历。他们已知能够促进较高水平的认知参与度，并在推理任务中有益于学习成果。然而，CTS 内容的撰写所需的时间和成本是普及采用的主要障碍。本文介绍了一种在两个方面利用最新的大语言模型 (LLM) 的新型 CTS：首先，系统从课文自动产生教学脚本；其次，通过两个基于 LLM 的智能体 (Ruffle&Riley)，系统自动化了脚本编排，这两个智能体分别扮演学生和教授的角色，以教学的方式进行学习。该系统允许进行遵循 ITS 典型的外 / 内循环结构的自由形式对话。在初步的两组在线用户研究 (N = 100) 中，将 Ruffle&Riley 与简单的问答机器人和阅读活动进行比较，并未发现在后测成绩上有显著差异。然而，在学习体验调查中，Ruffle&Riley 用户表达了更高的理解和记忆评分，并进一步感知获得的支持更有帮助、对话更连贯。我们的研究为新一代可扩展的 CTS 技术提供了见解。
发现论文，激发创造
  • Ruffle&Riley: 设计和评估基于大型语言模型的对话教学系统的洞察

    利用大型语言模型的最新进展，本论文讨论和评估了一种新型的会话式辅导系统，通过两种方式利用人工智能辅助内容编写，并自动从课文中诱导出易于编辑的辅导脚本，通过两种基于大型语言模型的代理（Ruffle&Riley）作为学生和教授自动化脚本编排来进行学习。通过与简单的问答聊天机器人和阅读活动进行比较的两次在线用户研究（N = 200）评估了 Ruffle&Riley 在生物学课程中的支持能力。通过分析系统使用模式、前后测试成绩和用户体验调查，发现 Ruffle&Riley 用户报告了较高水平的投入、理解，并认为提供的支持是有帮助的。虽然 Ruffle&Riley 用户完成活动需要更多时间，但在短期学习收益方面并未发现显著差异。本系统架构和用户研究为未来会话式辅导系统的设计者提供了各种见解。我们进一步开源了我们的系统以支持关于基于大型语言模型的学习技术有效教学设计方面的持续研究。

    Apr, 2024

  • 教学前策略规划：具备自我精华提炼技术的对话式辅导系统

    本文提出了一种在教学策略预测和生成辅导响应之间进行联合预测的方法，并选择了若干个对话辅导数据集进行基准测试，最终提出了一种统一框架，该框架将教学响应生成和学术策略预测相结合，并采用了自身蒸馏机制来指导教学策略学习和促进辅导响应生成。通过实验和分析，揭示了教学策略对话式辅导的影响。

    Feb, 2023

  • 面向个性化学生模拟的智能对话辅导系统

    构建学生群体的个人资料以及使用大型语言模型进行具有个性化意识的学生模拟

    Apr, 2024

  • 神经对话辅导中的机遇与挑战

    本文分析了几种生成式语言模型在语言学习时的应用，并发现当前方法在教学场景中存在有限性，需要更好的模型来解决这些问题。实验发现，目前的方法在受限的学习场景下表现出色，但在不受限制的场景中表现不佳。通过数据分析和用户研究，本文揭示了模型的推理错误，低效的平等辅导和语境不清等问题。

    Jan, 2023

  • 对话树搜索：一种新型的混合对话任务

    该论文介绍了一种称为对话树搜索（CTS）的任务，它桥接了 FAQ 样式信息检索和面向任务的对话之间的差距，允许领域专家定义对话树，然后将其转换为高效的对话策略，从而实现目标完成率更高且能够跳过不必要的问题。

    Mar, 2023

  • 对话式学习：以信息获取为强化目标的对话系统

    我们提出了一种新颖的基于 AI 的聊天机器人学习模式，用户通过与教师机器人的对话获取信息和知识。我们的系统使用了一种新型加强自我对话模式，在不同领域之间实现知识传递和关注用户的对话。我们在三个大型公共数据语料库上进行了广泛的主客观评估，证明了我们的系统在传递知识和关注用户方面的有效性，帮助用户在不阅读文章的情况下大大提高知识水平。

    May, 2022

  • 使用聊天机器人教授语言

    本研究旨在构建一种在线语言学习工具，通过使用对话系统作为实践对话伙伴，为学习者提供对话体验。我们的系统可以根据用户的语言熟练程度进行自适应，并且提供自动语法错误反馈来帮助用户从他们的错误中学习。根据我们的初步用户反馈，我们的系统既实用又有趣。此外，我们还将为学习技术社区提供一个大规模的关于语言学习和语法更正的对话数据集。下一步，我们将使用强化学习算法来使我们的系统更加适应用户个人信息。

    Jul, 2022

  • 带有课程的用户自适应语言学习聊天机器人

    本研究基于 BlenderBot3 对中学生进行英语教育，采用课程对齐解码技术构建了一个课程对齐的对话系统，并利用该系统提高学生英语学习的兴趣和对目标单词的理解。

    Apr, 2023

  • 对话推荐系统中意图识别

    本文研究了对话推荐系统中的最近工作，并介绍了一种将上下文化的输入与学习模型联系起来以支持意图识别的方法，使用 transformer 基础模型在数据集 MSDialogue 上进行了性能评估。

    Dec, 2022

  • 大规模会话型 AI 代理的基于反馈的自学习

    本研究提出了一种自学习系统，使用用户 - 系统交互反馈信号自动纠正对话式人工智能系统中出现的各种组件错误，并通过吸收马尔可夫链模型挖掘这些反馈信号中的共同模式，进行可扩展的改进，实现了大规模对话式人工智能系统的自主学习，能显著降低过多次错误和缺陷。

    Nov, 2019