603样本模型:走向内存高效的类增量学习
本研究针对类增量学习时可能出现的“灾难性遗忘”问题,提出了一种记忆资源高效利用的样本保存方案,并结合一种主副样本协作学习方案,以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。
Aug, 2020
本论文全面调查了现有的针对图像分类的类增量学习方法,特别是在13种类增量方法上进行了广泛的实验评估,包括多个大规模图像分类数据集上的类增量方法比较,小范围和大范围域转移的研究,以及各种网络架构的比较。
Oct, 2020
该论文在构建一个统一的概念和实验框架中,研究了解决神经网络过度拟合的方法,描述了增量学习算法的六个重要属性,探讨了过去样本选择的效用,并提供了可重现性的开源存储库。
Nov, 2020
本文提出了一种基于强化学习的动态内存管理策略,旨在妥善处理复杂的分类增量学习问题,并在CIFAR-100、ImageNet-Subset和ImageNet-Full三个基准测试中均实现了较大的性能提升。
Jan, 2023
本文提出了一种基于压缩样本的识别模型的方法,通过动态压缩样本(通过class activation maps生成0-1遮罩屏蔽非鉴别性的像素点)并存入内存来实现无需进行手动注释的自适应压缩样本,通过在高分辨率的 CIL benchmarks(包括 Food-101, ImageNet-100,和 ImageNet-1000)上进行了实验,结果显示,使用 CIM 压缩样本可以实现新的 CIL 精度的全新的最高水平。
Mar, 2023
本文提出了一种新的无需回放的类增量学习方法,该方法通过学习两个互补学习子网络之间的协同作用,包括联合优化可塑性CNN特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据,可以掌握新的课程,同时保持对以前学习过的课程的识别和知识保留。
Jun, 2023
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而CIL算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
针对类增量学习问题,我们提出了一种基于测试时间适应的方法(TTACIL),通过在每个测试实例上对预训练模型的层归一化参数进行微调,以学习任务特定特征,并将其重置为基本模型以保持稳定性,从而避免了遗忘,并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。
Oct, 2023
通过采用动态网络算法和中心点增强方法,提出一种任务感知可扩展的框架(Task-aware Expandable,TaE),用于解决长尾类增量学习问题,并在CIFAR-100和ImageNet100数据集上进行实验证明其能取得最先进的性能。
Feb, 2024
本研究针对深度神经网络在连续数据流学习中遭遇的灾难性遗忘问题,提出了一种新的非样本类增量学习方法。通过用合成的回顾特征替代类的原型,结合基于相似性特征补偿机制,显著提升了对旧类决策边界的保持能力。实验结果表明,该方法在多个数据集上实现了最先进的性能,并提高了非样本类增量学习的效率。
Nov, 2024