Feb, 2024

级联缩放分类器：使用概率缩放进行类别逐步学习

PDF
TL;DR通过 Margin Dampening 和 Cascaded Scaling Classifier 的创新方法，提出一种新的正则化方法和一种新的增量分类器，实现过去学习知识的保留和有效学习新的模式。该方法在多个基准测试中表现良好，并研究了各组成部分以及组合对最终结果的影响。
continual learningneural networksforgettingregularisation approachincremental classifier
发现论文，激发创造
  • ScaIL：用于分类增量学习的分类器权重缩放

    本文针对有界内存下的连续数据流的增量学习问题，提出分别利用增量状态下的数据统计信息对初始类别分类器权重进行简单高效的缩放，并将其与传统的基于数据平衡的算法开展对比实验，结果表明通过对分类器权重的缩放以及去除蒸馏项可以有效缓解数据不平衡问题。

    Jan, 2020

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

    May, 2019

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 通过生成框架绕过在线类增量学习中的逻辑偏差

    本研究提出了一个基于特征空间的生成分类器框架，以解决在线类增量学习中用于避免 softmax 分类器的数量型偏差问题，并通过广泛实验验证了该框架的有效性。

    May, 2022

  • 一个不妥协的渐进式学习者策略

    本文章重新定义了增量学习，提出了一种名为 “幻影抽样” 的技术，通过生成模型和深度神经网络的实现，成功避免了增量学习中的灾难性遗忘，并在各种基准数据集上验证了该技术可以实现严格的增量学习。

    May, 2017

  • 重新审视蒸馏和增量分类器学习

    研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

    Jul, 2018

  • 连续学习中任务数量的缩放

    本文探讨了在有限环境中增长任务数量的情景下，通过一种新的实验框架 SCoLe，借助随机梯度下降法，实现在长序列的任务中进行知识积累和保留，提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法，并通过合适的实验框架展示了新的可持续性学习学习机制。

    Jul, 2022