我们研究了神经网络在结构化非独立同分布的设置中的训练动力学，其中文档以固定的重复顺序周期性呈现。我们发现了一个有趣而引人注目的 LML 在此设置中顺序微调的性质：它们表现出预期的行为，在再次遇到文档之前从遗忘中恢复。这种行为出现并随着架构规模的增加而变得更加稳健。通过全面的实验证明和可视化，我们揭示了在结构化环境中过参数化网络的训练中的新见解。

Mar, 2024

本文提出了一种新的方法来解决神经网络训练过程中的 Catastrophic forgetting 问题，该方法结合了正则化和生成模型复习策略的优势，使用基于 internal embeddings 的 normalizing flow 作为生成模型并对其进行调节，取得了较好的性能表现。

Jul, 2020

本文提出一种利用 Generative Adversarial Network 来生成代表先前任务的 item，而实现深度神经网络进行序列分类，解决神经网络在学习新任务时容易遗忘以前任务的问题，该模型取得了更好的性能表现。

Feb, 2018

通过研究不同的训练规则，如 dropout、学习率衰减和 batch size 等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

Jun, 2020

连续学习中的灾难性干扰和远程干扰分析，提出一种能近似任何连续函数、具有多项式计算复杂度、并且对远程干扰提供保证的新型人工神经网络结构 ABAL-Spline。通过实验证明 ABAL-Spline 在理论上具有的性质，并在基准回归问题上进行评估，得出使用多项式复杂度模型进行连续学习需要对训练数据或算法进行增强的推测。

Feb, 2024

本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

Sep, 2018

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

使用自我生成的实例进行演练的自我合成复述（SSR）框架可在没有原始训练数据的情况下进行持续学习，保留了 LLMs 的学习能力并表现出与传统的基于复述的方法相媲美的性能。

Mar, 2024

本文研究了在价值为基础的强化学习方法中广泛存在的灾难性干扰现象，提供了一种新的干扰度量方法，在多种网络架构下系统评估了这种度量与控制性能不稳定性的相关性，并提出了一类名为 “在线感知” 的算法来减少干扰，并表明它们在多个经典的控制环境中可以提高稳定性和性能。

Jul, 2023

连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

May, 2024