本篇文章提出了一种遗忘技术，可以在大规模视觉分类任务中从网络训练的权重中移除一部分训练样本的影响，同时在混合隐私设置中保留核心样本的信息，采用合适的线性逼近替换标准深度网络可以实现相当的精度且达到最前沿的效果。

Dec, 2020

本文介绍了一种消除深度神经网络对训练数据的依赖性的新方法，通过添加与损失梯度共同作用的噪声来实现不断遗忘，同时利用神经切向核的激活和权重动态之间的联系计算信息。

Mar, 2020

本文针对深度神经网络中可能被攻击者篡改、包含敏感信息的数据进行了选择性遗忘的研究，提出了一种基于优化方法对遗忘过程进行控制的方法，并通过实验结果验证了其有效性。

Dec, 2020

研究提出一种基于变分推理的差分隐私连续学习框架，该框架利用旧数据的差分隐私生成模型估计当前模型下旧数据的可能性，以解决机构删除历史数据的隐私问题所导致的神经网络记忆降解问题。

Feb, 2019

使用随机网络作为教师，可以快速减轻被遗忘数据对模型的影响，实现模型的一次性擦除和重构，并取得与重新训练后模型相同的性能。

Aug, 2023

我们提出了一种轻量级的遗忘算法，利用费舍尔信息矩阵（FIM）进行选择性遗忘，通过计算 FIM 的对角元素以实现全面遗忘，同时最大程度减少对保留数据的影响，从而提供了可解释性、轻量级和高效的解决方案，可有效保护隐私并可应用于各种神经网络架构。

Nov, 2023

本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。

Feb, 2022

研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

Feb, 2020

本文介绍了一种称为 Selective Amnesia 的方法，它可以被应用于条件变分似然模型，以进行控制性遗忘来避免模型生成有害、误导或不合适的内容。实验表明，这种方法在不同的模型上都能很好地工作。

May, 2023

本文通过提出一种新的方法，证明神经网络剪枝相当于给隐藏层的激活值加入一定量的差分隐私噪音，进而探讨了神经网络剪枝与差分隐私之间的关系以及其实际应用的可行性与效果，发现在某些情况下，神经网络剪枝可能是比差分隐私更为有效的方法。

Mar, 2020