May, 2022

重新思考任务增量学习基线

PDF
TL;DR研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，MiniImageNet，MNIST，PermutedMNIST，notMNIST，SVHN 和 FashionMNIST）识别任务进行了研究，并为公平比较现有方法建立了强有力的基准结果。在 2D 和 3D 领域，我们还观察到 SAN 在任务增量设置中基本不受不同任务顺序的影响。
incremental learningtask-incremental learningadjustment networkarchitecture sizememory efficiency
发现论文，激发创造
  • 类增量学习：基于图像分类的调查和性能评估

    本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在 13 种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

    Oct, 2020

  • 单增量任务场景下的连续学习

    本文讨论了单增量任务情况下深度学习的策略和现有方法的不足，提出了一种名为 AR1 的新方法，结合了架构和规则化策略，具有较小的内存和计算开销，适合在线学习。在 CORe50 和 iCIFAR-100 上的实验证明，AR1 比现有的规则化策略表现更好。

    Jun, 2018

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • iTAML: 一种增量式任务无关元学习方法

    本文提出了一种基于元学习的新方法，通过学习一组不针对旧任务也不针对新任务的广义参数来避免深度神经网络的快速衰落问题，并在五个数据集上进行广泛实验，实现了明显的改进

    Mar, 2020

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 跨任务特征对于类别增量学习的重要性

    本文探讨了类增量学习中跨任务特征的学习对于基本重放策略性能的影响，提出了一个新的类增量学习遗忘度量，并通过实验结果发现未来类增量学习算法不仅要防止遗忘，还要提高跨任务特征质量和任务之间的知识转移，特别是在任务数据有限的情况下。

    Jun, 2021

  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 语义分割的增量学习技术

    本研究旨在解决深度学习架构在面临新增任务时由于灾难性遗忘导致性能下降的问题，提出了一种知识蒸馏方法来保留以前学习过的类别信息，并同时学习新类别，本文在 Pascal VOC2012 数据集上进行了实验验证其有效性。

    Jul, 2019

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018