类增量高斯混合模型用于深度持续学习
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的MIR，iCARL和GDumb等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了MIR是一种强大而通用的在线持续学习方法。
Jan, 2021
本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在Pascal VOC2012和ADE20K数据集上取得了显著的准确性，远超过现有技术。
Mar, 2021
本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。
Apr, 2021
该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本文提出vCLIMB连续学习基准测试，旨在探究在视频领域中，利用深度模型进行随时间增量式学习时出现的挑战，作者提出了一种能应用于基于记忆的连续学习模型的时间一致性正则化方法，能显著提高模型在未修剪连续学习任务中的性能, 最高可提高24％。
Jan, 2022
通过在固定特征提取器上建立贝叶斯生成模型，该研究提出了一种解决深度学习中灾难性遗忘问题的方法，并在多个医学和自然图像分类任务上表现出优异的表现。
Apr, 2022
本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。
Jul, 2022
在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。
Aug, 2023