在这项研究中，我们研究了增量学习（CL）的问题，其目标是在一系列任务中学习模型，使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging（或 CoMA）的加权集成模型，它在保持稳定性的同时，通过利用可塑性，在当前任务上达到高准确性。我们还提出了一种改进的 CoMA 变体，称为 Continual Fisher-weighted Model Averaging（或 CoFiMA），通过利用模型权重的 Fisher 信息，有选择地对加权集合中的每个参数进行加权。这两种变体概念简单、易于实现，并在多个标准 CL 基准测试中实现了最先进的性能。

Dec, 2023

本文研究了班级迭代学习中的稳定性和可塑性之间的平衡，通过分析工具测量了特征表示的稳定性和可塑性，并发现大多数班级迭代学习算法更偏向稳定性而非可塑性，这不仅启发了新的算法，也提醒了班级迭代学习算法需要不断改进特征表示学习。

Apr, 2023

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

本文研究了在环境改变时如何使模型具有可持续发展能力，在理论层面上证明了增量学习的可行性，并提出了一种新的模型架构 ——Cooperation of Small Continual Learners (CoSCL)，该模型使用一组独立的子网络来学习所有的任务，有助于提高模型的泛化能力和记忆稳定性，并取得了新的最优性能。

Jul, 2022

介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

Nov, 2022

本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

Feb, 2023

在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

Sep, 2023

提出了一种称为 APD 的新型持续学习方法，该方法通过加性参数分解（APD）有效防止灾难性遗忘和顺序敏感性，并在可扩展性、精度和顺序鲁棒性方面明显优于现有的持续学习方法。

Feb, 2019

持续学习是一种受限制的学习问题，该研究通过利用记忆方法、拉格朗日对偶性和次优性界限来直 接解决这个问题，并在不同的持续学习基准测试中实验证实了理论结果。

Sep, 2023

连续学习算法中的稳定性和可塑性之间的权衡问题是本研究的核心挑战，本文引入了 RDAC 框架来解决这一问题，并研究了常用的正则化算法在稳定性和可塑性之间的权衡情况，在深层非线性网络和单隐藏层线性神经网络上进行了验证实验，结果表明该算法在保持稳定性的同时并没有明显损失可塑性，为现有的连续学习算法提供了有价值的见解，并为新的连续学习方法铺平了道路，在生物系统中对学习诱导的激活 / 表示变化与稳定性 - 可塑性困境的关系以及再现漂移问题也提供了新的视角。

Oct, 2023