预分配固定分类器的类增量学习
本文提出了一种增量学习的方法,该方法保留以前学习类别的训练图像的特征描述符,而不是图像本身,采用了比大多数现有方法更少的低维特征嵌入,通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化,并取得了与保留图像相比更低的内存占用和最先进的分类准确率。
Apr, 2020
本论文全面调查了现有的针对图像分类的类增量学习方法,特别是在13种类增量方法上进行了广泛的实验评估,包括多个大规模图像分类数据集上的类增量方法比较,小范围和大范围域转移的研究,以及各种网络架构的比较。
Oct, 2020
该论文在构建一个统一的概念和实验框架中,研究了解决神经网络过度拟合的方法,描述了增量学习算法的六个重要属性,探讨了过去样本选择的效用,并提供了可重现性的开源存储库。
Nov, 2020
研究表明,使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时,报道了在类增量学习中,表示品质较差是另一个使经典遗忘现象出现的原因,并通过适当的正则化程序改进了性能。在这些发现的基础上,研究结果在CIFAR-100和ImageNet上均取得了国际领先的成果,方法简单易实现。
Feb, 2021
本文提出了一种基于分离学习策略的持续演化分类器(CEC)框架,该框架在每个增量会话中只更新分类器,从而避免了表示的知识遗忘问题,并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络,以解决少样本类别增量学习(FSCIL)的课程先决问题,实验结果表明该方法在 CIFAR100、miniImageNet和Caltech-USCD Birds-200-2011(CUB200)等基准数据集上表现出 remarkable 的优势。
Apr, 2021
为了解决少样本类别增量学习中的灾难性遗忘和过拟合问题,我们提出了利用先验知识(LwPK)的方法,通过引入一些后续增量类别的未标记数据来增强预训练模型的泛化能力。我们使用无标签的增量类别样本进行聚类以产生伪标签,并与标记的基类样本一起进行联合训练,有效地为新旧类别数据分配嵌入空间。实验结果表明,LwPK能够有效增强模型抵御灾难性遗忘的韧性,理论分析基于经验风险最小化和类别距离度量的操作原理得到了验证。LwPK的源代码公开地可在https://github.com/StevenJ308/LwPK获取。
Feb, 2024
我们提出了一种新算法,通过使用我们的Rehearsal-CutMix方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像,来增强先前类别知识的压缩。在CIFAR和ImageNet数据集上进行的大量实验证明,我们的方法在不同的增量学习评估协议下始终优于现有技术。
May, 2024
本研究解决了类增量学习中的灾难性遗忘问题,特别是在使用预训练模型的情况下。提出了一种新方法,通过仅保留每个类别的单个样本并应用简单的梯度约束,显著提高了学习性能。实验结果表明,所提方法在低计算成本下能达到竞争力的效果。
Aug, 2024