强预训练模型实现类别增量学习
本研究提出了一种新的训练策略iCaRL,可以使得系统能够进行类别的增量式学习,同时学习有效的分类器和数据表示,与其他先前的工作相比, iCaRL能够持续地增量学习更多的类别,这在CIFAR-100和ImageNet ILSVRC 2012数据集的实验证明了其可行性。
Nov, 2016
本文提出并验证了一种纠正新旧类别数据不平衡问题的方法,利用一个线性模型矫正了全连接层的弱分类偏见,在两个大型数据集ImageNet和MS-Celeb-1M上比现有算法表现更好。
May, 2019
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而CIL算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
无先例的课程增量学习中,使用冻结的特征提取器基于欧氏距离生成类原型并进行分类,然而,欧氏距离在非静态数据学习时表现亚优,特征分布异质。为了解决这个挑战,我们重新考虑适用于课程增量学习的各向异性马氏距离,并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法,且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是,在不更新主干网络的情况下,我们的方法在多个标准连续学习基准上取得了最先进的结果。
Sep, 2023
提出了一种基于自监督学习的类增量学习框架CPPF,具有原型聚类模块、嵌入空间保留模块和多教师蒸馏模块,该方法在CIFAR100和ImageNet100数据集上实验证明了其对自监督类增量学习性能的提升。
Nov, 2023
在Few-Shot Class-Incremental Learning (FSCIL)场景中,我们发现现有方法倾向于将新类别的样本错误地分类为基类别,导致新类别的性能表现较差。为了解决这一问题,我们提出了一种简单而有效的训练无关的校准策略(TEEN),通过将新类别的原型与加权基类别的原型相融合,以增强新类别的可区分性。在FSCIL标准基准测试中,TEEN显示出出色的性能并在few-shot learning场景中持续改进。
Dec, 2023
通过采用动态网络算法和中心点增强方法,提出一种任务感知可扩展的框架(Task-aware Expandable,TaE),用于解决长尾类增量学习问题,并在CIFAR-100和ImageNet100数据集上进行实验证明其能取得最先进的性能。
Feb, 2024
本研究解决了在旧数据因内存或隐私限制难以访问的情况下,图像分类增量学习中的致命遗忘问题。通过首次将任务特定批量归一化引入类增量学习,并通过新增“未知”类别预测任务ID,验证了任务增量学习方法向类增量学习的成功扩展,从而有效提升了模型的可塑性和稳定性。
Nov, 2024