本文研究了在用户定义的关键词系统中增量引入新词类的少样本语音单词分类问题，并提出了通过模型无关元学习 (MAML) 的扩展来解决灾难性遗忘的问题。在 Google Commands 和 FACC 上进行的实验表明，我们的方法在快速学习少量词汇的分类问题上优于 MAML 的另一种扩展 OML。

May, 2023

本文提出了一种基于元学习的训练方式，通过序贯地训练神经网络来缓解深度学习中存在的灾难性遗忘问题。在此基础上，提出了 SeqFOMAML 算法，并在 Omniglot 和 MiniImageNet 上的分类任务数据集上进行了验证。

Sep, 2019

介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder（FSR），利用对旧任务的选定样本进行 logit 匹配，只需重新训练少量数据，就能在知识保留方面超过以往的方法，证明该方法在两个不同的连续学习设置以及一个新的连续学习问题上的优越性。

Dec, 2018

本文定义了一个新问题：不断出现的少样本学习；提出了 Continual Meta-Learner 来解决此问题，并在 MiniImageNet 和 CIFAR100 两个图像数据集上进行了广泛实验，表明 CML 在少量样本学习任务的分类准确性方面实现了现有最先进水平并避免了灾难性遗忘。

Jul, 2022

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

L2F method proposes task-and-layer-wise attenuation to reduce the influence of prior knowledge for faster adaptation and improved performance in few-shot learning tasks with neural networks.

Jun, 2019

本研究考虑了增量式少样本学习，解决了现有方法中存在的遗忘问题，并提出在原始阶段搜索基础任务的优化解来维持模型的良好性能。实验结果表明，这一方法优于现有状态 - of-the-art 方法，接近近似的最优结果。

Oct, 2021