Dec, 2023

以基于大型语言模型的难度预测为中心的知识追踪的对比学习

PDF
TL;DR提出透过关注问题难度和概念难度级别来增强知识追踪模型性能的新技术，困难层面的重要性鲜明，然而先前的知识追踪研究未能利用其在模型优化上的潜力并且在未知数据中预测困难量存在困难。为解决这些问题，提出了一种面向困难层面的对比学习方法，以及基于大型语言模型的困难量预测框架。这些创新方法旨在提高知识追踪模型性能并为未知数据提供准确的困难量估计。消融研究证明了这些技术的有效性，并强化了知识追踪模型的性能。然而，语言和困难之间的复杂关系还需要进一步研究。
knowledge tracing modelsquestion difficulty levelconcept difficulty levelcontrastive learning methodlarge language model
发现论文，激发创造
  • 一个以问题为中心的多专家对比学习框架，用于提高深度序贯知识追踪模型的准确性和可解释性

    我们提出了一个名为 Q-MCKT 的基于问题中心的多专家对比学习框架，用于知识追踪，以解决应用深度学习技术建模知识追踪过程时面临的挑战。

    Mar, 2024

  • 语言模型可进行知识追踪：将语言模型与知识追踪任务简单而有效地整合的方法

    利用语言模型集成的知识追踪方法在在线学习中提高了模型性能，并解决了冷启动问题。

    Jun, 2024

  • 在大规模数据集上进行知识追踪的深度学习模型实证比较

    本研究分析了大规模学生表现数据集中深度学习方法在知识追踪中的表现，证明了引入上下文信息及学生遗忘行为的对深度学习模型进行改进具有积极意义。

    Jan, 2021

  • 可解释的少样本知识追踪

    基于大型语言模型的认知引导框架可在少量学生记录的情况下追踪学生的知识，并提供自然语言解释。实验结果显示，大型语言模型可与竞争性深度知识追踪方法相当或更优。

    May, 2024

  • 基于大型语言模型的学习者表现建模

    本文探讨了预训练大型语言模型（LLMs）的能力，以及它们在知识跟踪、智能辅导系统领域的应用，研究了两种使用 LLMs 进行知识跟踪的方法，并对其在实际数据集上的性能进行了评估，结果表明 LLMs 能够模拟复杂的学习轨迹，为将 LLMs 应用于教育环境开辟了新的途径。

    Feb, 2024

  • 通过有监督的预训练和重要性机制微调提高低资源的知识追踪任务

    本文提出了一种名为 LoReKT 的低资源知识追踪框架，旨在通过从丰富资源的 KT 数据集中学习可转移的参数和表示，在预训练阶段学习效果，并在后续适应低资源 KT 数据集时提供帮助。

    Mar, 2024

  • CLST: 将生成式语言模型对齐作为学生知识追踪器来缓解知识追踪中的冷启动问题

    知识追踪通过将学生的问题解决历史用于估计其当前的知识水平，已引起研究人员的广泛关注。然而，大多数现有的知识追踪模型都是基于 ID 的范式开发的，这在冷启动性能方面存在局限性。本研究通过将生成式大型语言模型作为学生的知识追踪器（CLST）来缓解冷启动问题，利用生成式大型语言模型作为知识追踪器的框架。通过收集数学、社会研究和科学学科的数据，我们将知识追踪任务构建为自然语言处理任务，将问题解决数据表达为自然语言，并使用格式化的知识追踪数据集对生成式大型语言模型进行微调。随后，我们使用各种基准模型评估了 CLST 在数据稀缺情况下的性能，并发现在预测、可靠性和跨领域推广方面，CLST 在少于 100 名学生的数据集上显著提升了性能。

    Jun, 2024

  • 用于科学文献理解的预训练多任务对比学习模型

    本文提出了一种多任务对比学习框架（SciMult），采用任务感知分化技术和指令调整技术，在多种科学文献的理解任务中优于现有科学语言模型。

    May, 2023

  • 通过多级对比学习增强对话生成

    本文提出了一种多层对比学习模型，用于模拟回复的细粒度质量。通过设计一个排名感知校准网络和关键词知识推断组件，提高响应的相关性和多样性。实验结果表明，与基线模型相比，该模型能够生成更相关且多样化的回复。

    Sep, 2020

  • 用于外语难度估计的大型语言模型及其在语言学习中的应用

    使用大型语言模型帮助学习者提高外语熟练度，通过识别与学习者在外语领域的熟练程度密切相关且学习者感兴趣的主题内容。该解决方案的独特之处在于：a) 发现学习者关心的主题内容，增加学习的动力；b) 对内容的语言难度进行更精确的估计，优于传统的可读性度量；c) 提供文本和视频内容，其中视频内容的语言复杂性来自视频字幕。这项技术的愿景是根据学习者不断变化的兴趣和学习目标，持续调整内容的主题和难度，使学习者保持参与外语学习的状态。

    Sep, 2023