通过特征适应实现内存高效的渐进式学习
本研究针对细粒度图像检索在增量学习场景中的问题,提出一种基于增量学习和最大均值差异的方法,以减轻遗忘问题导致的检索性能降级。通过将原网络的分类器提供的软 “标签” 传输到训练自适应网络的过程中,达到保留原分类能力的目的,并通过模型正则化来最小化原网络与自适应网络之间的新类特征的偏差。实验结果表明,该方法在保持原类分类性能的同时,对新类有较高的性能表现。
Oct, 2020
本论文提出了基于深度神经网络的一种新型增量学习方法,该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示,以适应新任务,克服了数据访问受限导致的灾难性遗忘问题,并在标准数据集上实现了显著的准确性改进。
Apr, 2022
我们提出了一种新算法,通过使用我们的 Rehearsal-CutMix 方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像,来增强先前类别知识的压缩。在 CIFAR 和 ImageNet 数据集上进行的大量实验证明,我们的方法在不同的增量学习评估协议下始终优于现有技术。
May, 2024
提出了一种新颖的、两阶段的学习方法,利用动态可扩展表示进行更有效的概念建模,在三个类别的增量学习基准测试中,该方法始终表现出比其他方法更好很大的优势。
Mar, 2021
通过分析类增量学习中灾难性遗忘的原因,我们提出了一个两阶段学习框架,其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本,是一种非范例基于的 CIL 方法。在公共数据集上的实验证明,我们的方法在保留每类 5 个示例和 10 个阶段递增设置下,比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%,在 ImageNet100 上提高了 9.37%。
Aug, 2023
本文提出了一种新颖的类别增量学习方法,通过引入基于对抗攻击的特征增强技术。通过使用先前学习的分类器来补充训练样本,而不仅仅在后续模型中起到知识蒸馏的教师作用。该方法在类别增量学习中利用以前的知识有独特视角,因为它使用其他类别的示例通过先前学习的分类器上的对抗攻击来增强任意目标类别的特征。该方法可以方便地融入现有的类别增量学习算法,无需进行任何架构修改。在标准基准测试中的广泛实验表明,我们的方法在各种情况下都显著优于现有的类别增量学习方法,特别是在存储示例数量很少的情况下具有极小的存储空间。
Apr, 2023
通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器,我们提出的方法改进了无典范类增量学习的最新方法,特别是在只包含少量类别的最困难的情况下。此外,我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能,为增量学习的更好和更低成本的预训练方法铺平了道路。
Apr, 2024
一项新的增量学习方法使用少量的示例集合来学习深层神经网络,解决了深度学习中的灾难性忘记问题,在 CIFAR-100 和 ImageNet(ILSVRC 2012)图像分类数据集上取得了最先进的成果。
Jul, 2018
本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题,提出了一种记忆资源高效利用的样本保存方案,并结合一种主副样本协作学习方案,以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。
Aug, 2020
本文提出并验证了一种纠正新旧类别数据不平衡问题的方法,利用一个线性模型矫正了全连接层的弱分类偏见,在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。
May, 2019