May, 2023

MathDial: 基于数学推理问题的具有丰富教育性质的对话教学数据集

HTML
PDF
TL;DR本文介绍了一种用于收集大型语言模型生成对话的框架，用来收集MathDial数据集，这个数据集由约1.5k个多步骤数学词问题的辅导对话组成，并展示了该数据集具有丰富的教学特性，可以用于调整语言模型以成为更有效的辅导员，并强调了需要解决研究共同体的挑战。
发现论文，激发创造
  • 神经对话辅导中的机遇与挑战

    本文分析了几种生成式语言模型在语言学习时的应用，并发现当前方法在教学场景中存在有限性，需要更好的模型来解决这些问题。实验发现，目前的方法在受限的学习场景下表现出色，但在不受限制的场景中表现不佳。通过数据分析和用户研究，本文揭示了模型的推理错误，低效的平等辅导和语境不清等问题。

    Jan, 2023

  • 利用大型语言模型扩展AutoTutor的创作能力

    使用大型语言模型（LLMs）构建智能辅导系统，结合传统教学方法并实现更好的教学成果。

    Feb, 2024

  • 语言模型作为科学导师

    近期，NLP 在培训具备强大科研问题解决技能的语言模型方面取得了令人振奋的进展。本文通过引入 TutorEval 和 TutorChat，提出了一种针对科学教育中需要处理长篇科学文档的语言模型应用的多样化问答基准评估方法，以及使用现有对话数据集对基础模型进行微调并展示其对 TutorEval 性能的影响，进一步创建了一套长篇合成教材对话数据集 TutorChat，最终在 TutorEval、GSM8K 和 MATH 上表现出色。

    Feb, 2024

  • MathChat：多轮交互中数学推理和指令遵循的基准评估

    这篇论文介绍了一个专门设计用来评估大型语言模型在更广泛的数学任务上的MathChat基准测试，并观察到这些模型在单回合问题回答方面表现出色，但在需要持续推理和对话理解的复杂场景下性能显著下降。通过开发MathChat sync这样一个用于提升模型对话能力和指令跟随能力的合成对话型数学数据集，实验结果强调了使用类似MathChat sync这样多样化的对话指令微调数据集训练大型语言模型的必要性。作者认为这项工作为改进大型语言模型的多轮数学推理能力指明了一个有希望的方向，推动了更擅长交互式数学问题解决和实际应用的大型语言模型的发展。

    May, 2024

  • SPL: 由大型语言模型驱动的苏格拉底学习场

    通过基于GPT-4模型的苏格拉底学习法的对话式智能辅导系统（SPL），我们的研究展示了大型语言模型如何增强基于对话的智能辅导系统，并扩展了教育技术的可访问性和效力。

    Jun, 2024

  • MathCAMPS: 从人类课程中细化合成数学问题

    我们提出了MathCAMPS方法，用于合成高质量的数学问题，并通过LLMs将其转化为单词问题，以进一步探索数学问题解决和对话中的各种技能和能力。

    Jul, 2024

  • 大型语言模型导师的学生推理错误逐步验证和修正

    利用大型语言模型和对学生解答进行验证的对话教学模型的研究，以提高教导质量并更准确地探测学生错误并针对性地给出反馈。

    Jul, 2024

  • 探讨辅导-学生对话中的知识追踪

    本研究针对现有人工智能辅导聊天机器人的学生行为建模缺口，提出了在辅导-学生对话中进行知识追踪的首个尝试。通过使用大型语言模型的提示方法，我们能够识别对话中的知识组件并诊断学生的回应正确性，研究结果表明，新的LLMKT方法在对话中预测学生回应的正确性方面显著优于现有知识追踪方法。

    Sep, 2024

  • MIND：用于预训练大型语言模型的数学信息合成对话

    本研究解决了当前合成数据在复杂数学推理任务中不足的问题，提出了一种新颖的数学信息合成对话（MIND）生成方法，以提升大型语言模型的数学推理能力。通过生成基于OpenWebMath的数据集MIND-OWM，实验结果显示，整合对话参与者之间的知识差距对于生成高质量数学数据至关重要，从而显著提升了模型在数学推理和特定知识任务上的表现。

    Oct, 2024

  • 开发一个辅导对话数据集以优化大型语言模型在教育中的应用

    本研究解决了对话式辅导系统中大型语言模型（LLMs）缺乏有效教学策略和高昂数据集成本的问题。我们提出了一种合成辅导对话数据集，并对小型LLM进行了微调，结果表明该模型在实际辅导场景中性能与大型模型相当，但成本显著降低，为教育环境中实施LLM辅导系统提供了可行且具有成本效益的方法。

    Oct, 2024