这份论文调查了机器学习中遗忘的多方面本质，从神经科学研究中得出结论，认为遗忘是一种适应性功能而非缺陷，它能增强学习过程，防止过拟合，并与各种机器学习子领域的应用联系，以提高模型性能和增强数据隐私。此外，本文还讨论了将遗忘机制整合到机器学习模型中所面临的当前挑战、未来方向和伦理考虑。

May, 2024

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。

Feb, 2022

本文研究了表示遗忘对预训练语言模型的泛化能力的影响，提出了三个度量方式来衡量泛化能力的演变，并发现了泛化能力存在遗忘。在实验中，我们发现训练泛化语言任务可以减轻泛化知识的遗忘，同时使用混合的连续学习方法可以减轻泛化破坏，与那些只考虑排练或正则化的方法相比，可以保持更多的泛化知识。

May, 2023

本文针对深度神经网络中可能被攻击者篡改、包含敏感信息的数据进行了选择性遗忘的研究，提出了一种基于优化方法对遗忘过程进行控制的方法，并通过实验结果验证了其有效性。

Dec, 2020

本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

Apr, 2023

研究神经网络在单分类任务训练中的学习动态，发现在缺乏明显分布偏移的数据情况下，存在相关遗忘现象，某些样例更容易被遗忘，而基于遗忘动态可以从训练数据集中省略部分例子却仍能保持最佳泛化性能。

Dec, 2018

数字遗忘的目标是，通过给定具有不良知识或行为的模型，获得一个新模型，其中不再存在检测到的问题。在大语言模型中，数字遗忘的方法是取消学习方法中目标任务与数据，以达到保护隐私和防止不良内容生成的目的。

Apr, 2024

本研究通过引入遗忘机制，提出了一种新颖的生成类增量学习（GCIL）方法，旨在动态管理类信息以更好地适应流数据。通过实验证明，将遗忘机制整合到 GCIL 中，显著提高了模型在获取新知识方面的性能，凸显了策略性遗忘在不断学习过程中的积极作用。

Mar, 2024