介绍了一种新的回顾性损失以提高深度神经网络模型的训练，通过利用训练期间过去模型状态中可用的先前经验，将当前训练步骤的参数状态推向最优参数状态，同时将其与之前训练步骤的参数状态分离。实验结果表明，这种方法在图像、语音、文本等领域以及不同的任务和架构中均可提高性能。

Jun, 2020

介绍了一种在线学习范式 ——Learn, Unlearn 和 Relearn (LURE)，该范式通过交替的遗忘和重学习减少 DNNs 中数据错误的影响并增加模型的鲁棒性和泛化性能。

Mar, 2023

本文提出了一种神经网络决策过程的两个阶段，分别是前向推理和反思阶段，这两个阶段共同构成了内省学习。我们使用训练好的神经网络梯度来衡量内省反思的程度，并使用多层感知器对反思结果进行预测。我们发现内省网络的鲁棒性更强，在处理嘈杂数据和需要泛化和校准的场景中表现更好。

Sep, 2022

在本文中，我们从文献出发，对持续学习、主动学习和开放式识别等现有领域进行了综述，并提出了一种融合上述三者的方法来使深度神经网络获得鲁棒性，并通过实验证明，此方法可在避免累积性遗忘、数据筛查、任务选择等方面得到优化。

Sep, 2020

本研究证明在某些情况下，可以通过已经训练好的神经网络分类器的参数，重建训练数据的大部分内容，这对隐私具有负面影响，为此提出了一种新的重建方案。

Jun, 2022

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024

介绍了一种针对深度神经网络的数据遗忘的方法，通过修改权重，使其不再包含特定的训练数据，并且减小了权重中信息泄漏的可能。

Nov, 2019

介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder（FSR），利用对旧任务的选定样本进行 logit 匹配，只需重新训练少量数据，就能在知识保留方面超过以往的方法，证明该方法在两个不同的连续学习设置以及一个新的连续学习问题上的优越性。

Dec, 2018

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。

Mar, 2022