类增量学习的共同传输

Jul, 2021

Co-Transport for Class-Incremental Learning

Da-Wei Zhou, Han-Jia Ye, De-Chuan Zhan

TL;DRCO-transport for Class Incremental Learning (COIL) is proposed as a method for incremental learning that utilizes class-wise semantic relationships and prospective and retrospective transport to adapt to new tasks and resist forgetting, as validated in experiments on benchmark and real-world multimedia datasets.

Abstract

Traditional learning systems are trained in closed-world for a fixed number of classes, and need pre-collected datasets in advance. However, new classes often emerge in real-world applications and should be learned incrementally. For example, in electronic commerce, new types of products appear daily, and in a social media community, new topics emerge freque

incremental learning co-transport multimedia datasets class-wise semantic relationship model adaptation

发现论文，激发创造

交叉空间聚类与控制迁移的类增量学习

本文提出了基于蒸馏的目标，旨在维护先前类别的准确性并使模型学习新类别。通过利用特征空间的结构，我们讨论了跨空间聚类（CSC）和控制传递（CT）两个目标。我们的实验结果表明，在两个基准数据集上，我们的方法 (CSCCT) 一直表现出稳定的性能提升。

Aug, 2022

在线情境下的增量学习

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

零数据增量学习的类印象

提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

Jun, 2022

自主预训练与原型学习的逐类增量学习

通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

Aug, 2023

班级增量学习的要素

研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

Feb, 2021

类增量学习：基于图像分类的调查和性能评估

本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在 13 种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

Oct, 2020

大规模增量学习

本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

May, 2019

在在线连续学习中处理跨任务类别歧视

本文提出了一个新的优化目标和基于梯度调整方法的动态训练偏差方法，以解决回放方法在在线连续学习过程中的动态训练偏差问题，并在实验中取得了更好的结果，以解决跨任务类别辨别问题。

May, 2023

SRIL: 用于类增量学习的选择性正则化

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023