一个不妥协的渐进式学习者策略
一项新的增量学习方法使用少量的示例集合来学习深层神经网络,解决了深度学习中的灾难性忘记问题,在 CIFAR-100 和 ImageNet(ILSVRC 2012)图像分类数据集上取得了最先进的成果。
Jul, 2018
通过分析类增量学习中灾难性遗忘的原因,我们提出了一个两阶段学习框架,其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本,是一种非范例基于的 CIL 方法。在公共数据集上的实验证明,我们的方法在保留每类 5 个示例和 10 个阶段递增设置下,比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%,在 ImageNet100 上提高了 9.37%。
Aug, 2023
该论文提出了一种增量学习框架,针对在线学习场景下的两个主要障碍,即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题(1),并提供通过更新范例集合减轻问题(2)的简单而有效的方法,并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。
Mar, 2020
提出了一种新型的、无需实际数据的分类增量学习框架,采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象,采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能,将该方法与现有方法进行比较实验,并在诊断心脏超声图像方面取得了很好的效果。
Jun, 2022
该论文在构建一个统一的概念和实验框架中,研究了解决神经网络过度拟合的方法,描述了增量学习算法的六个重要属性,探讨了过去样本选择的效用,并提供了可重现性的开源存储库。
Nov, 2020
本文提出并验证了一种纠正新旧类别数据不平衡问题的方法,利用一个线性模型矫正了全连接层的弱分类偏见,在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。
May, 2019
本论文全面调查了现有的针对图像分类的类增量学习方法,特别是在 13 种类增量方法上进行了广泛的实验评估,包括多个大规模图像分类数据集上的类增量方法比较,小范围和大范围域转移的研究,以及各种网络架构的比较。
Oct, 2020
通过使用新的损失函数、简单的方法来解决分类失效和利用生成对抗网络来生成历史数据和选择代表性样本,我们解决了增量分类器学习中的灾难性遗忘问题,并在 CIFAR-100、Flower-102 和 MS-Celeb-1M-Base 数据集上进行了验证,证明了我们方法的有效性,并且生成的数据比真实图像具有更少的隐私问题。
Feb, 2018
本文提出了一种选择性正则化方法,使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离,并调节如何转移到前一模型的权重以保持先前知识,该方法在 CIFAR-100,ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。
May, 2023