提出了一种新的算法ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器Adam等相结合的优点。

Jun, 2017

本研究提出了一种新的在线(ALternating Minimization)方法来训练深度神经网络，同时也给出了该方法在随机设置下的理论收敛保证，并在不同体系结构和数据集上展示出具有前景的实证结果。

Jun, 2018

本研究引入了一种名为Recursive Gradient Optimization的新方法，该方法不仅能够在没有数据重放的情况下修正梯度以减少遗忘，而且还具有虚拟特征编码层(FEL)，该层只使用任务描述符即可表示不同的长期结构。实验表明，与基线相比，RGO在流行的连续分类基准测试中表现显著更好，并在20-split-CIFAR100(82.22%) 和 20-split-miniImageNet(72.63%)中取得了新的最佳性能。该方法比单任务学习（STL）具有更高的平均准确性，而且灵活可靠，在学习依赖于梯度下降的模型的连续学习方面具有潜在的应用价值。

Jan, 2022

本文探讨了在有限环境中增长任务数量的情景下，通过一种新的实验框架SCoLe，借助随机梯度下降法，实现在长序列的任务中进行知识积累和保留，提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法，并通过合适的实验框架展示了新的可持续性学习学习机制。

Jul, 2022

本研究提出了一种基于Scaled Gradient Projection方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过L2正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

Jun, 2023

连续学习中，我们提出应该同时关注优化目标和优化方式，结合重放逼近联合目标和梯度投影优化方法，以减轻稳定性差距、增加学习效率和改善最终学习结果。

Nov, 2023

深度表示学习方法在持续学习中面临着有用单元的灾难性遗忘和可塑性损失的困扰。本文介绍了基于效用的扰动梯度下降（UPGD）作为一种新的表示持续学习方法，通过梯度更新和扰动相结合的方式，在保护有用单元免受遗忘的同时，对不太有用的单元施加更大的修改来恢复其可塑性。在具有数百个非静态性和未知任务边界的连续学习问题中，我们证明了现有的许多方法都存在至少一种问题，主要表现为在任务上的准确性下降。相反，UPGD在所有问题上继续提高性能，并超越或与所有方法竞争。最后，通过使用PPO进行扩展的强化学习实验，我们证明了在初始学习后Adam表现出的性能下降，而UPGD通过解决连续学习的两个问题来避免这种下降。

Mar, 2024

该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

Apr, 2024

神经网络的塑性缺失意味着在学习过程中网络训练变得更加困难。我们通过改进初始化技术、提出新的正则化策略以及保持梯度多样性来改善持续学习，并证明这些替代技术在不同的监督学习任务和模型结构上能够提高持续学习性能。

Jun, 2024