CVPRFeb, 2024

梯度重新加权：朝着不平衡分类增量学习的方向

PDF
TL;DRClass-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forgetting, and imbalanced forgetting, but these issues can be addressed using reweighting techniques and a distribution-aware knowledge distillation loss, leading to consistent improvements in performance.
发现论文，激发创造
  • 通过数据集和训练精化实现更公平的基于类别的增量学习

    本文提出了一个名为 CILIATE 的新框架，用于修复迭代学习（IL）中存在的数据集偏差和算法偏差问题，并在三个流行数据集上通过独特重要样本的识别和强制学习提高 iCaRL、BiC 和 WA 等方法的性能。

    Apr, 2023

  • 从动态不平衡学习的角度重新考虑逐步学习

    通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

    May, 2024

  • 抵御类增量学习中的不平衡遗忘

    通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

    Mar, 2024

  • 长尾类别增量学习

    本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

    Oct, 2022

  • 面向非样本半监督类增量学习

    创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

    Mar, 2024

  • SS-IL: 基于分离 Softmax 的增量学习

    通过对先前流派中分类分数导致偏差的原因进行系统分析，我们提出了一种称为 Separate softmax for incremental learning (SS-IL) 的新方法，它由分离的 softmax (SS) 输出层和面向任务的知识蒸馏 (TKD) 组成，以解决诸如数据失衡等问题，从而在多个大规模 CIL 基准数据集上实现了强大的最新结果。

    Mar, 2020

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023

  • 强预训练模型实现类别增量学习

    在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

    Apr, 2022

  • 少数类增量修正的不平衡深度学习

    本文提出了一种基于类别不平衡的深度学习模型，使用小样本类别修正和难样本挖掘，通过迭代逐批次学习，最小化数量众多类别的影响。实验结果表明，该模型在处理不平衡数据学习问题上相比现有最先进模型具有性能优势和可扩展性。

    Apr, 2018

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023