本篇论文提出利用预训练技术将深度学习应用于自适应学习的实践探索，并在数据观察和学习风格分析的基础上提出了一个统一的框架。通过一系列的下游任务，如学习推荐、学习资源评估、知识跟踪和辍学预测，发现了课程结构、文本和知识对于建模和学生非连续学习行为具有帮助，源代码和数据集将公开发布。

Jul, 2022

本文研究了预训练模型在流畅学习中的应用，证明了组合使用自监督预训练和微调模型可以有效地保留模型先前学习的知识，有效防止灾难性遗忘。

May, 2022

探究如何将连续学习转变成在线学习的系统，可用于自我监督学习和机器人避免冲突，该系统采用 “内存感知神经元” 的方法更新关键性权重。

Dec, 2018

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

May, 2023

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

本文通过探究机器学习中三种主流学习方法，即领域 / 任务特殊化学习，联合学习，以及连续学习，并运用 VLMs 这一良好的跨领域学习模型作为医学基础模型，得到了在不同领域 / 任务测试集中的十分出色的泛化性能，并提出连续学习可能是构建医学基础模型的一种切实可行和高效的学习范式。

Mar, 2023