深度学习中的灾难性遗忘：全面分类

Dec, 2023

深度学习中的灾难性遗忘：全面分类

Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy

Everton L. Aleixo, Juan G. Colonna, Marco Cristo, Everlandio Fernandes

TL;DR近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Abstract

deep learning models have achieved remarkable performance in tasks such as image classification or generation, often surpassing human accuracy. However, they can struggle to learn new tasks and update their knowledge without access to previous data, leading to a significant loss of acc

deep learning models catastrophic forgetting incremental learning gradient descent research gaps

发现论文，激发创造

增量深度神经网络中灾难性遗忘的方法学研究

通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

May, 2024

梯度神经网络中灾难性遗忘的实证研究

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

大型语言模型在连续微调中的灾难性遗忘的实证研究

大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

Aug, 2023

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

灾难性遗忘的解剖：隐藏的表示和任务语义

本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

Jul, 2020

大型语言模型调优中重新思考灾难性遗忘

本文首次揭示了大型语言模型（LLMs）的模型损失面与遗忘程度之间的直接联系，并引入了锐度感知最小化方法来减轻 Catastrophic Forgetting，通过使损失面变得平坦。实验证明该方法在缓解 Catastrophic Forgetting 方面的效果显著，并且通过与现有的抗遗忘策略的结合，进一步增强了 LLMs 的抵抗能力。

Jun, 2024

DNN 中灾难性遗忘的综合应用研究

通过大规模实证研究，我们提出了一种新的实验协议，并在目前最多的视觉分类数据集上评估序列学习任务，结果表明在应用场景下，没有一种模型能够避免所有的灾难性遗忘，最后我们探讨了 EWC 和 IMM 模型的潜在解决方案和解决方法.

May, 2019

深度神经网络的少遗忘学习

研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Jul, 2016

模型更新过程中的灾难性遗忘

本文论述了如何在更新神经网络模型时减少深度学习模型遗忘前期知识的问题，从而减少新模型的训练成本，并介绍混合少量历史数据的数据彩排和弹性加权差异等方法以提高整体准确度。

Jun, 2023

深度学习中遗忘性的综合调查 —— 超越持续学习

遗忘是一个在深度学习中广泛存在的现象，涉及到持续学习、生成模型、联邦学习等领域，在特定情况下遗忘可以具有积极的作用，如隐私保护场景。本综述旨在全面了解遗忘现象，探索不同领域对遗忘的理解，并通过借鉴各领域的思想和方法找到潜在的解决方案。将遗忘研究的边界扩展到更广泛的领域，希望在未来的工作中促进对遗忘的减轻、利用或甚至接纳的新策略的发展。

Jul, 2023