深度神经网络的持续学习面临着与固定数据集和凸连续学习模式不同的挑战，其中一个挑战是可塑性损失，即在线训练的神经网络显示出适应新任务的能力下降。本文通过一系列实验研究了深度增强学习中的可塑性损失和多种缓解方法，并发现在领域转移情况下可塑性损失普遍存在，许多解决方法在这种情境下失败，相反，一类 “再生” 方法能够在各种环境中保持可塑性损失的缓解效果，包括网格世界任务以及像《蒙特祖玛的复仇》和 ProcGen 这样更具挑战性的环境。

May, 2024

本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

Jun, 2023

本文引入了塑性注入，一种最小化的干预手段，用于增加网络的可塑性，识别一类 Atari 游戏环境，提出了应对可塑性丧失的未来研究方向，并提供一种可改善强化学习训练效率的工具。塑性注入在 Atari 游戏方面的结果显示，与其他方法相比，在保持计算效率的同时可以获得更强的性能。

May, 2023

本文探讨深度学习中两个最近发现的现象之间的联系：可塑性损失和神经崩溃。我们分析了它们在不同场景中的相关性，揭示了在第一任务的初始训练阶段存在显著关联。此外，我们介绍了一种规范化方法来减轻神经崩溃，证明了它在这种特定情况下减缓可塑性损失的有效性。

Apr, 2024

基于神经网络的高性能、高效样本视觉增强强化学习的主要研究领域之一是塑性。本研究通过系统性实证研究揭示了数据增强、评论者的塑性损失、塑性恢复等关键组成部分对塑性的影响，并提出了一种基于评论者塑性水平动态调整回放率来解决高回放率困境的策略，该策略在早期避免了塑性损失，并在后期重用更频繁的情况下提高样本效率。

Oct, 2023

神经网络的可塑性丧失是一种现象，其能力从新的经验中学习受到影响。本文提供了关于可塑性丧失的一致解释，认为在训练过程中神经网络方向的曲率减少导致了可塑性的丧失。通过对多个连续监督学习问题进行系统的实证研究，我们发现曲率减少与可塑性丧失同时或之前发生，同时证明了以前的解释无法解释所有情况下的可塑性丧失。最后，我们展示了可以缓解可塑性丧失的正则化方法也能保持曲率，提出了一种简单的分布正则化方法，在考虑的问题设置中被证明是有效的。

Nov, 2023

探讨在 Atari 2600 游戏环境中使用基于价值的强化学习方法在面对不同程度的非随机性（non-stationarity）时，其所采用的策略的丧失学习能力现象，通过对不同维度条件下的实验结果，发现这种现象与网络中激活函数的稀疏性相关，本文提出的嵌入化 ReLU (CReLUs) 激活函数可以有效提高在环境变化中的持续学习能力。

Mar, 2023

通过将 L2 正则化引入损失函数实现的 L2 Init 方法，在持续学习中保持可塑性，处理非稳态数据流时有效，减少参数大小并维持高的特征级别。

Aug, 2023

提出了一种基于熵的稳定性可塑性方法来解决神经网络中的稳定性 - 可塑性困境，该方法在自然语言和图像领域的实验表明其可以通过减少干扰来利用先前知识，并在某些情况下可以冻结层以加速训练。

Apr, 2022

利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

Apr, 2018