Oct, 2023

知识追踪中基于进化的 Transformer 神经架构搜索

PDF
TL;DR本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力，提出一种进化神经架构搜索方法来自动选择输入特征，并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡，实验结果表明该方法能有效地找到最优体系结构。
knowledge tracingtransformer-based kt approacheslocal/global context modellingevolutionary neural architecture searcheducation datasets
发现论文，激发创造
  • 为知识追踪寻找适当的查询、关键字和值计算方案

    本研究提出了一种新颖的 Transformer 模型 SAINT 用于知识追踪，并在大规模数据集上证明其相比于当前最先进模型提高了 1.8% 的 AUC 性能表现；该模型具有编码器 - 解码器结构，通过将练习和回答嵌入序列分别进入编码器和解码器，多次堆叠注意力层以捕捉练习和回答之间的复杂关系。

    Feb, 2020

  • 上下文感知的关注知识追踪

    本文提出了一种基于神经网络的注意力知识追踪模型（AKT），结合了新颖的解释性模型组件，用于个性化学习和自动化反馈，实验证明 AKT 可以优于现有的 KT 方法，并且具有良好的可解释性。

    Jul, 2020

  • 通过对抗训练增强知识追踪

    本文探讨深度神经网络在知识追踪模型上可能出现的过拟合问题，提出了基于对抗训练的知识追踪模型 (ATKT)，其中应用了注意力机制以提高模型的精度和泛化性能，针对四个公共基准数据集进行了大量实验，获得了新的最佳表现。

    Aug, 2021

  • EKT：面向体能训练的知识跟踪模型用于学生成绩预测

    本文提出了一种基于深度学习的学生成绩预测模型，利用 Exercise-Enhanced Recurrent Neural Network 和 Exercise-aware Knowledge Tracing 等方法，探索了学生知识获取情况和习题内容等因素，实现了精确的学生成绩预测，并提高了可解释性。

    Jun, 2019

  • 进化 Transformer

    本研究旨在使用神经架构搜索技术应用于 Transformer 结构中，通过进化架构搜索技术，探索发现了性能更好的替代模型 Evolved Transformer，该模型不仅在 WMT 2014 英德翻译任务上取得了新的性能最优结果，且在模型容量更小的情况下性能优于原始模型。

    Jan, 2019

  • RKT：关系感知自注意力用于知识追踪

    本文提出了一个新的知识追踪模型，采用基于关系的自注意力机制来综合考虑练习之间的关系和学生的遗忘行为，进一步优化在线学习体验和评估方法。实验证明该模型优于现有的知识追踪方法，认知注意机制还能可视化人类学习过程中的时间模式。

    Aug, 2020

  • 在大规模数据集上进行知识追踪的深度学习模型实证比较

    本研究分析了大规模学生表现数据集中深度学习方法在知识追踪中的表现，证明了引入上下文信息及学生遗忘行为的对深度学习模型进行改进具有积极意义。

    Jan, 2021

  • 一种用于知识追踪的自注意力模型

    通过自我关注机制，提出了一个有效的知识追踪方法，使用相对较少的 KC 来预测学生的掌握程度，这种方法在处理稀疏数据时表现更好，并在多个真实数据集上得到了显著的提高。

    Jul, 2019

  • 一个以问题为中心的多专家对比学习框架，用于提高深度序贯知识追踪模型的准确性和可解释性

    我们提出了一个名为 Q-MCKT 的基于问题中心的多专家对比学习框架，用于知识追踪，以解决应用深度学习技术建模知识追踪过程时面临的挑战。

    Mar, 2024

  • MUSE: 多尺度时间特征进化在知识追踪中的应用

    该研究提出了一种名为 MUSE 的基于 Transformer 和多尺度时间传感器单元的知识追踪模型，能够有效地捕捉用户在不同时间范围内的知识状态的动态变化，并提供一种有效而强大的方法来组合本地和全局特征进行预测。该方法在 Riiid AIEd Challenge 2020 中获得了第五名。

    Jan, 2021