利用生成模型中的潜在表示对神经网络进行迭代学习的 Adapt & Align 方法在论文中被介绍。该方法通过将生成模型的潜在表示对齐，解决了神经网络在重新训练时由于来自不同分布的额外训练数据而出现的性能突然下降的问题，并通过利用全局模型对局部模型的潜在表示进行整合，将知识转化为可用于下游任务（如分类）的方法进行连续知识整合。

Dec, 2023

通过引入紧凑任务注意力来减少任务干扰，Attention-Guided Incremental Learning (AGILE) 在不同的持续学习场景中优化泛化性能，克服了遗忘之前获取的知识的问题。

May, 2024

本研究提出了一种基于预训练自编码器的能量模型来实现图像风格转换的方法，实验结果表明，该方法在图像转换任务中既提高了转换质量，同时还保证了目标图像的内容原始性，并在无匹配图像转换方面表现出色。

Dec, 2020

提出一种新方法 “无需记忆学习 (LwM)”，通过信息保留惩罚方法 Attention Distillation Loss (L_AD) 来保存基础类的信息，同时逐步学习新类，实现在设备内存有限的情况下进行增量学习并取得更好的效果，实验证明在 iILSVRC-small 和 iCIFAR-100 数据集上，加入 L_AD 相较于现有的信息保留方法有更好的基础和增量学习准确度。

Nov, 2018

该论文提出了一种简化的能量基模仿学习（EBIL）框架，该框架使用分数匹配来估计专家能量，然后使用其作为强化学习算法中的奖励来学习策略，以实现与目前现有算法相当的性能水平。

Apr, 2020

通过采用动态网络算法和中心点增强方法，提出一种任务感知可扩展的框架（Task-aware Expandable，TaE），用于解决长尾类增量学习问题，并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的性能。

Feb, 2024

本文提出了一种基于元学习的新方法，通过学习一组不针对旧任务也不针对新任务的广义参数来避免深度神经网络的快速衰落问题，并在五个数据集上进行广泛实验，实现了明显的改进

Mar, 2020

本文研究了一种名为增量潜在矫正（Incremental Latent Rectification，ILR）的连续学习方法，通过使用一系列小的表示映射网络（称为矫正器单元），使当前训练的深度神经网络的表示向过去任务的表示空间进行校正，从而有效缓解当前深度神经网络面临的灾难性遗忘问题。实证实验在多个连续学习基准数据集上，包括 CIFAR10、CIFAR100 和 Tiny ImageNet，证明了增量潜在矫正方法相较于已有的连续学习方法的有效性和潜力。

Jun, 2024

在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

Aug, 2020

本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

Apr, 2023