ICMLJun, 2021

跨任务特征对于类别增量学习的重要性

PDF
TL;DR本文探讨了类增量学习中跨任务特征的学习对于基本重放策略性能的影响，提出了一个新的类增量学习遗忘度量，并通过实验结果发现未来类增量学习算法不仅要防止遗忘，还要提高跨任务特征质量和任务之间的知识转移，特别是在任务数据有限的情况下。
class-incremental learningclassification taskscross-task discriminationexternal memoryknowledge transfer
发现论文，激发创造
  • 在在线连续学习中处理跨任务类别歧视

    本文提出了一个新的优化目标和基于梯度调整方法的动态训练偏差方法，以解决回放方法在在线连续学习过程中的动态训练偏差问题，并在实验中取得了更好的结果，以解决跨任务类别辨别问题。

    May, 2023

  • 跨类特征增强的类增量学习

    本文提出了一种新颖的类别增量学习方法，通过引入基于对抗攻击的特征增强技术。通过使用先前学习的分类器来补充训练样本，而不仅仅在后续模型中起到知识蒸馏的教师作用。该方法在类别增量学习中利用以前的知识有独特视角，因为它使用其他类别的示例通过先前学习的分类器上的对抗攻击来增强任意目标类别的特征。该方法可以方便地融入现有的类别增量学习算法，无需进行任何架构修改。在标准基准测试中的广泛实验表明，我们的方法在各种情况下都显著优于现有的类别增量学习方法，特别是在存储示例数量很少的情况下具有极小的存储空间。

    Apr, 2023

  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 类增量学习：基于图像分类的调查和性能评估

    本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在 13 种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

    Oct, 2020

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 重新思考任务增量学习基线

    研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，MiniImageNet，MNIST，PermutedMNIST，notMNIST，SVHN 和 FashionMNIST）识别任务进行了研究，并为公平比较现有方法建立了强有力的基准结果。在 2D 和 3D 领域，我们还观察到 SAN 在任务增量设置中基本不受不同任务顺序的影响。

    May, 2022

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 生成式特征重放用于类增量学习

    对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

    Apr, 2020

  • 通过注意力引导的增量学习在知识连续中减轻干扰

    通过引入紧凑任务注意力来减少任务干扰，Attention-Guided Incremental Learning (AGILE) 在不同的持续学习场景中优化泛化性能，克服了遗忘之前获取的知识的问题。

    May, 2024

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020