线性回归中连续学习中遗忘的理解
研究过拟合线性模型在不同输入分布下对一系列任务进行训练时出现的灾难性遗忘现象，探究其与不断学习、交错投影和 Kaczmarz 方法之间的联系，并针对具体情况提出精确的遗忘量度和上限。
May, 2022
我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插值阈值附近，遗忘随着期望任务相似性的减小而单调减少。
Jan, 2024
通过研究不同的训练规则，如 dropout、学习率衰减和 batch size 等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。
Jun, 2020
通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。
Mar, 2022
本文探讨了在有限环境中增长任务数量的情景下，通过一种新的实验框架 SCoLe，借助随机梯度下降法，实现在长序列的任务中进行知识积累和保留，提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法，并通过合适的实验框架展示了新的可持续性学习学习机制。
Jul, 2022
探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。
Dec, 2013
本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。
May, 2021
本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。
Jun, 2020