该研究提出了一种名为 MUSE 的基于 Transformer 和多尺度时间传感器单元的知识追踪模型，能够有效地捕捉用户在不同时间范围内的知识状态的动态变化，并提供一种有效而强大的方法来组合本地和全局特征进行预测。该方法在 Riiid AIEd Challenge 2020 中获得了第五名。

Jan, 2021

本文提出了一种新的学生知识追踪方法 GRATE，该方法可动态选择可聚合的学生尝试，从而预测学生在问题中的表现和发现其中呈现的概念；与现有研究相比，该方法能够更好地预测学生表现，消除不必要的波动并发现问题中的复杂潜在概念。

Oct, 2022

我们提出了一种用于时间序列预测的 Transformer 架构，重点在于时间序列的分词，并将其应用于来自定价领域的真实预测问题。我们的架构旨在同时学习所有可用数据的多个尺度上的有效表示。模型包含几个创新模块：采用多个分辨率的时间序列分割、用于处理时间变化的已知变量的多分辨率模块、用于捕捉交叉序列信息的混合器模块，以及一种对输出进行优化的新颖输出头，以适应增加的令牌数量。我们将该模型应用于一家非常大零售商的降价团队所面临的真实预测问题中。在所进行的实验中，我们的模型优于内部模型和选择的现有深度学习架构。

Jul, 2024

这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

Dec, 2023

本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

Apr, 2021

本文提出了一种新的知识追踪模型，它能够捕捉学生的学习能力并将学生动态分配到具有类似能力的不同组中，在常规时间间隔内将这些信息与被称为深度知识追踪的递归神经网络结构相结合，实验结果表明，该模型明显优于用于学生建模的已知先进技术。

Sep, 2018

通过预测学生的答案并提供及时定制的指导，智能辅导系统（ITS）增强了个性化学习。然而，最近的研究主要关注答案的正确性，而非学生在具体答案选择上的表现，限制了对学生思维过程和潜在误解的洞察。为了解决这一差距，我们提出了 MCQStudentBert，一种答案预测模型，利用大型语言模型（LLM）的能力，将学生的答题历史背景与问题和答案的文本进行整合的上下文理解。通过预测学生可能选择的具体答案选项，从而可以轻松扩展模型到新的答案选项或删除相同多选题（MCQ）的答案选项而无需重新训练模型。我们比较了 MLP、LSTM、BERT 和 Mistral 7B 四种架构，以生成从学生的过去互动中得出的嵌入向量，并将其融入到微调的 BERT 的答案预测机制中。我们将这个流程应用到一个包含超过 10,000 名学生的语言学习 MCQ 数据集中，以探索 MCQStudentBert 与正确答案预测和传统掌握学习特征方法相比，结合学生互动模式的预测准确性。这项工作为更个性化的内容、模块化和细粒度支持打开了大门。

May, 2024

提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

Aug, 2023

本文介绍了一种基于 MTGRU 和时间层次结构的 seq2seq 模型，旨在解决科学文章摘要的抽象化问题，实验结果表明，与传统 RNN 编码器 - 解码器相比，该模型具有更快的训练速度和更好的性能表现，同时时间层次结构有助于改善 seq2seq 模型对于复合性的捕捉能力，而不需要高度复杂的建筑层次结构。

Jul, 2016

本研究提出了行之有效的 Interpretable Knowledge Tracing (IKT) 模型，使用机器学习和数据挖掘技术从学生响应数据中提取有意义的潜在特征，从而预测学生的未来表现。该模型可为真实世界的教育系统提供自适应和个性化的教学，并具有因果推理能力。

Dec, 2021