基于位级信息保护的持续学习
通过信息理论的角度研究连接主义模型（如神经网络）的灾难性遗忘问题，提出连续学习方法是在压缩中 Bayesian 混合编码和最大似然（ML）插入编码的近似，并比较其性能和限制，最终提出了一种结合了 ML 插入和 Bayesian 混合编码的新的连续学习方法。
Jun, 2020
通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。
Oct, 2019
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。
Sep, 2019
机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。
Dec, 2023
本文提出了一种新的训练范式，它在神经网络参数空间上引入区间约束以控制遗忘。我们提出了 Hyperrectangle Training，这是一种新的训练方法，其中每个任务都用参数空间中的超矩形表示，完全包含在先前任务的超矩形中，有效地模拟超矩形训练集合。同时我们展示了 InterContiNet 算法在不保存以前任务数据的情况下能够在连续学习设置中很好地表现。
Jun, 2022
提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。
Jan, 2024
使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。
Aug, 2023
通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。
Nov, 2023