研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

该研究提出了一种用于半监督连续学习的元一致性框架，该框架采用超网络来学习基础网络的半监督辅助分类器生成对抗网络的权重，并整合了超网络中连续任务的知识，以在新集合上进行测试。

Oct, 2021

本文提出了一种基于回归的连续学习框架，该框架能同时解决灾难性遗忘和噪声标签等问题，具体方法包括自我监督回归和基于集中度的随机图集合，实验结果表明，该方法能在噪声环境下有效地维护一个高纯度的缓冲区。

Oct, 2021

论文探索了半监督持续学习方法，该方法能从标记数据中预测未标记数据的梯度，进而将未标记数据应用到有监督持续学习中。实验结果表明，未标记图像可以增强持续学习模型对未见数据的预测能力并显著缓解灾难性遗忘。

Jan, 2022

本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法，该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度，实验证明该方法显著优于现有的方法。

Mar, 2022

该研究提出了一种适用于部分标记数据的对比损失函数SemiCon，并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在Split-CIFAR10和Split-CIFAR100数据集上，与现有的半监督方法相比，我们的方法在可用很少的标签时效果更佳，只使用了2.6％的标签和10％的标签，就可以获得与最新的监督方法相似的结果。

Jul, 2022

在线连续学习（online continual learning）对标注延迟（label delay）的处理提出了新的连续学习框架，通过模拟不同时间步长间的未标注数据和标签的延迟关系，引入简单高效的基线方法，在不显著增加计算复杂性的情况下，成功弥合了由于标注延迟引起的准确性下降。

Dec, 2023

我们提出了一种名为动态子图蒸馏（DSGD）的新方法，它利用语义和结构信息，实现对无标签数据的稳定知识蒸馏，对分布偏差具有鲁棒性，并在半监督连续学习场景中减轻了灾难性遗忘问题。

Dec, 2023

我们提出并研究了一种现实的连续学习（CL）设置，其中学习算法在训练过程中具有每个时间步的限制计算预算。我们将此设置应用于稀疏标签率的大规模半监督连续学习场景中。我们提出了一种简单但非常有效的基准方法DietCL，该方法联合利用未标记数据和标记数据，巧妙地分配计算预算。在多个数据集上进行验证时，DietCL在限制预算的情况下明显优于所有现有的有监督CL算法以及更近期的连续半监督方法。我们的广泛分析和消融实验证明，DietCL在标签稀疏性、计算预算和其他各种消融条件下都是稳定的。

Apr, 2024

本研究解决了持续学习（CL）中理论与实践之间的鸿沟，尤其是现有方法缺乏理论保障的问题。通过将经验强的方法（RanPAC）整合到理想持续学习者（ICL）框架中，我们提出了ICL-TSVD方法，它通过不断截断提升特征的奇异值分解，确保训练和泛化误差保持较小，具有理论保障并在多个数据集上超越了当前最先进的CL方法。

Oct, 2024