Jan, 2020

ScaIL：用于分类增量学习的分类器权重缩放

PDF
TL;DR本文针对有界内存下的连续数据流的增量学习问题，提出分别利用增量状态下的数据统计信息对初始类别分类器权重进行简单高效的缩放，并将其与传统的基于数据平衡的算法开展对比实验，结果表明通过对分类器权重的缩放以及去除蒸馏项可以有效缓解数据不平衡问题。
发现论文，激发创造
  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 级联缩放分类器：使用概率缩放进行类别逐步学习

    通过 Margin Dampening 和 Cascaded Scaling Classifier 的创新方法，提出一种新的正则化方法和一种新的增量分类器，实现过去学习知识的保留和有效学习新的模式。该方法在多个基准测试中表现良好，并研究了各组成部分以及组合对最终结果的影响。

    Feb, 2024

  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

    May, 2019

  • 在类增量学习中维护差异性和公正性

    本文提出了一种基于知识蒸馏和权重对齐的类增量学习方法，能够有效减轻灾难性遗忘，提高模型性能，实验证明此方法在几种数据集上明显优于现有最先进方法。

    Nov, 2019

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 不平衡数据的主动类增量学习

    本论文研究了增量学习的问题，提出了一种采用主动和非均衡的采样方法，将增量学习视为一个非均衡学习问题，通过类别预测缩放降低不平衡的影响，针对四个视觉数据集进行了评估，并表明该方案对于减少主动和标准增量学习性能之间的差距产生了积极的效果。

    Aug, 2020

  • 重新审视蒸馏和增量分类器学习

    研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

    Jul, 2018

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 梯度重新加权：朝着不平衡分类增量学习的方向

    Class-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forgetting, and imbalanced forgetting, but these issues can be addressed using reweighting techniques and a distribution-aware knowledge distillation loss, leading to consistent improvements in performance.

    Feb, 2024