本文研究了基于任务增量分类的持续学习方法,提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡, 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
研究了半监督连续学习 (SSCL) 模型,使用伪标记、一致性正则化、知识蒸馏和外域检测策略,能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。
Jan, 2021
本研究提出一种用伪标签取代标准标签,在无监督模式下实现连续学习的方法,并提出了一种新的基准实验协议,以更好地评估模型在图像分类任务上的性能。结果表明,使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。
Apr, 2021
本文提出了一个名为KIERA的无监督连续学习方法,采用灵活的深度聚类方法来处理不断变化的环境,并提出基于质心的经验回放方法来克服灾难性遗忘的问题。实验结果表明,与现有方法相比,KIERA具有高度的竞争性能。
Jun, 2021
该研究提出了一种基于无监督学习方法的连续学习技术,可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示,并通过使用LUMP技术来缓解灾难性遗忘问题。
Oct, 2021
通过知识蒸馏和参数正则化的组合,并探索加入预训练模型的方法,实现了单一,逐步扩展任务的无需回忆连续学习,避免遗忘以前学过的类别并不断优化性能。
Mar, 2022
通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题,成功地应用于域增量学习,并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。
Sep, 2023
连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善,该方法可以在所有任务间蒸馏累积知识,提高模型的稳定性。
May, 2024
提出了一种名为U-TELL的无监督连续学习(Continual learning)模型,该模型使用任务专家,通过训练生成的结构化样本进行任务分配,以解决由于有限标签信息导致的灾难性遗忘问题。
本研究解决了持续学习和机器遗忘两个重要挑战,并提出了一种利用受控知识蒸馏的统一框架。该方法实现了高效学习、最小遗忘及有效的定向遗忘,实验结果显示其在这两方面的表现超过了现有方法。此框架的提出为具有动态学习和遗忘能力的适应性模型奠定了基础。
Aug, 2024