模型更新过程中的灾难性遗忘

Jun, 2023

Catastrophic Forgetting in the Context of Model Updates

Rich Harang, Hillary Sanders

TL;DR本文论述了如何在更新神经网络模型时减少深度学习模型遗忘前期知识的问题，从而减少新模型的训练成本，并介绍混合少量历史数据的数据彩排和弹性加权差异等方法以提高整体准确度。

Abstract

A large obstacle to deploying deep learning models in practice is the process of updating models post-deployment (ideally, frequently). Deep neural networks can cost many thousands of dollars to train. When new data comes in the pipeline, you can train a new model from scratch (randoml

deep learning models model fine-tuning catastrophic forgetting data rehearsal elastic weight consolidation

发现论文，激发创造

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

深度学习中的灾难性遗忘：全面分类

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

梯度神经网络中灾难性遗忘的实证研究

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

深度神经网络的少遗忘学习

研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Jul, 2016

机器学习应用中的谈判表示以防止遗忘

机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。

Nov, 2023

神经机器翻译的平衡训练：超越持续学习的灾难性遗忘

针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

Mar, 2022

差分隐私继续学习

研究提出一种基于变分推理的差分隐私连续学习框架，该框架利用旧数据的差分隐私生成模型估计当前模型下旧数据的可能性，以解决机构删除历史数据的隐私问题所导致的神经网络记忆降解问题。

Feb, 2019

医学领域扩展中应对灾难性遗忘问题

本研究旨在开发一种方法来解决深度学习模型在医疗领域中出现的模型脆弱性问题，该方法在训练后对原有医疗机构的模型性能进行更新，以适应其他医疗机构的数据，同时，在模型性能下降时进行 batch normalization，从而提高模型性能并保护患者隐私。

Mar, 2021

少样本自我提醒克服灾难性遗忘

介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder（FSR），利用对旧任务的选定样本进行 logit 匹配，只需重新训练少量数据，就能在知识保留方面超过以往的方法，证明该方法在两个不同的连续学习设置以及一个新的连续学习问题上的优越性。

Dec, 2018

神经网络中的灾难性遗忘问题

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016