多功能增量学习:面向类和领域无关的增量学习
本文提出了一种增量学习的方法,该方法保留以前学习类别的训练图像的特征描述符,而不是图像本身,采用了比大多数现有方法更少的低维特征嵌入,通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化,并取得了与保留图像相比更低的内存占用和最先进的分类准确率。
Apr, 2020
该研究提出了一种实用的域自适应范式——增量类别域自适应(Class-Incremental Domain Adaptation,CIDA),并且根据理论和实证观察,提出了一种基于样板网络的有效方法,使得在域偏移的情况下可以对目标样本进行分类,并且可以对共享的和新的目标类进行分类,其性能优于CIDA范式中的DA和CI方法。
Aug, 2020
本论文全面调查了现有的针对图像分类的类增量学习方法,特别是在13种类增量方法上进行了广泛的实验评估,包括多个大规模图像分类数据集上的类增量方法比较,小范围和大范围域转移的研究,以及各种网络架构的比较。
Oct, 2020
研究表明,使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时,报道了在类增量学习中,表示品质较差是另一个使经典遗忘现象出现的原因,并通过适当的正则化程序改进了性能。在这些发现的基础上,研究结果在CIFAR-100和ImageNet上均取得了国际领先的成果,方法简单易实现。
Feb, 2021
本论文提出了基于深度神经网络的一种新型增量学习方法,该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示,以适应新任务,克服了数据访问受限导致的灾难性遗忘问题,并在标准数据集上实现了显著的准确性改进。
Apr, 2022
本文提出一种基于EM框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题,使用基于von Mises-Fisher混合模型的灵活类表示来捕获类内结构,采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆,并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验,表明该方法在三个基准数据集上均优于现有方法。
Apr, 2022
本文提出了基于蒸馏的目标,旨在维护先前类别的准确性并使模型学习新类别。通过利用特征空间的结构,我们讨论了跨空间聚类(CSC)和控制传递(CT)两个目标。我们的实验结果表明,在两个基准数据集上,我们的方法(CSCCT)一直表现出稳定的性能提升。
Aug, 2022
针对类增量学习问题,我们提出了一种基于测试时间适应的方法(TTACIL),通过在每个测试实例上对预训练模型的层归一化参数进行微调,以学习任务特定特征,并将其重置为基本模型以保持稳定性,从而避免了遗忘,并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。
Oct, 2023
我们提出了一个用于少样本类级增量学习(FSCIL)的绝招框架,这是一种具有挑战性的持续学习形式,涉及对有限样本的新任务的连续适应。我们的提出的绝招集合了八个关键而高度有影响力的技巧,改善了FSCIL的稳定性,适应性和整体性能,并建立了新的最先进技术,优于该领域的先前研究。
Mar, 2024
提出了一种基于特征丰富性的有效秩增强方法(RFR),旨在提高前向兼容性,该方法通过在基础会话期间增加表示的有效秩,从而便于将更多信息丰富的特征纳入未见过的新任务中,并验证方法的有效性和性能改进。
Mar, 2024