模拟神谕:一种用于类别增量学习的初始相位去相关方法
在大规模的ImageNet数据集上,我们探索了一种从已经训练好的模型中增量学习的方法,通过二阶段训练方案,融合与增强,我们的方法比现有的方法在准确率上提高了10%。
Apr, 2022
本文提出了基于蒸馏的目标,旨在维护先前类别的准确性并使模型学习新类别。通过利用特征空间的结构,我们讨论了跨空间聚类(CSC)和控制传递(CT)两个目标。我们的实验结果表明,在两个基准数据集上,我们的方法(CSCCT)一直表现出稳定的性能提升。
Aug, 2022
本文提出个体分类器与冻结特征提取器(ICE)框架及其三个变体,旨在缓解分类器漂移,以无存储旧类别样本的情况下,连续从数据流中学习新类别。在6个分类增量信息提取任务上的实验结果表明,与现有最先进方法相比,我们的解决方案(尤其是ICE-O)始终表现出显著的改进,提供了强有力的基线和未来研究的启示。
May, 2023
该论文提出了一种统一的解决方案,通过神经崩溃终局将分类增量学习、灾难性遗忘和数据不平衡与数据稀缺等问题融合在一起,并通过原型演化方案实现了对背景特征的平滑转变,从而在面临常规情况、长尾类增量学习和少样本类增量学习时实现了更好的学习能力。
Aug, 2023
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而CIL算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
无先例的课程增量学习中,使用冻结的特征提取器基于欧氏距离生成类原型并进行分类,然而,欧氏距离在非静态数据学习时表现亚优,特征分布异质。为了解决这个挑战,我们重新考虑适用于课程增量学习的各向异性马氏距离,并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法,且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是,在不更新主干网络的情况下,我们的方法在多个标准连续学习基准上取得了最先进的结果。
Sep, 2023
提出了一种基于自监督学习的类增量学习框架CPPF,具有原型聚类模块、嵌入空间保留模块和多教师蒸馏模块,该方法在CIFAR100和ImageNet100数据集上实验证明了其对自监督类增量学习性能的提升。
Nov, 2023
通过采用动态网络算法和中心点增强方法,提出一种任务感知可扩展的框架(Task-aware Expandable,TaE),用于解决长尾类增量学习问题,并在CIFAR-100和ImageNet100数据集上进行实验证明其能取得最先进的性能。
Feb, 2024
提出了一种基于特征丰富性的有效秩增强方法(RFR),旨在提高前向兼容性,该方法通过在基础会话期间增加表示的有效秩,从而便于将更多信息丰富的特征纳入未见过的新任务中,并验证方法的有效性和性能改进。
Mar, 2024