深度神经网络的少遗忘学习

Jul, 2016

Less-forgetting Learning in Deep Neural Networks

Heechul Jung, Jeongwoo Ju, Minju Jung, Junmo Kim

TL;DR研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Abstract

A catastrophic forgetting problem makes deep neural networks forget the previously learned information, when learning data collected in new environments, such as by different sensors or in different light conditi

catastrophic forgetting problem deep neural networks source domain stochastic gradient descent methods recognition rates

发现论文，激发创造

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

梯度神经网络中灾难性遗忘的实证研究

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

深度学习中的灾难性遗忘：全面分类

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

少样本自我提醒克服灾难性遗忘

介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder（FSR），利用对旧任务的选定样本进行 logit 匹配，只需重新训练少量数据，就能在知识保留方面超过以往的方法，证明该方法在两个不同的连续学习设置以及一个新的连续学习问题上的优越性。

Dec, 2018

神经网络中的灾难性遗忘问题

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

持续学习中参数隔离的保证

深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

Oct, 2023

机器学习应用中的谈判表示以防止遗忘

机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。