Mar, 2020

SS-IL: 基于分离 Softmax 的增量学习

PDF
TL;DR通过对先前流派中分类分数导致偏差的原因进行系统分析，我们提出了一种称为 Separate softmax for incremental learning (SS-IL) 的新方法，它由分离的 softmax (SS) 输出层和面向任务的知识蒸馏 (TKD) 组成，以解决诸如数据失衡等问题，从而在多个大规模 CIL 基准数据集上实现了强大的最新结果。
发现论文，激发创造
  • 梯度重新加权：朝着不平衡分类增量学习的方向

    Class-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forgetting, and imbalanced forgetting, but these issues can be addressed using reweighting techniques and a distribution-aware knowledge distillation loss, leading to consistent improvements in performance.

    Feb, 2024

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023

  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

    May, 2019

  • 基于调整逻辑回归的 Softmax 的在线持续学习

    我们提出了一种在线持续学习的方法，在训练过程中通过调整模型的 logits 来抵抗类别先验偏差并追求贝叶斯最优分类器，从而有效缓解了类间不平衡对模型性能的影响。

    Nov, 2023

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 长尾类别增量学习

    本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

    Oct, 2022

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 抵御类增量学习中的不平衡遗忘

    通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

    Mar, 2024

  • TKIL：基于正切核的类平衡增量学习方法

    该研究提出了一种基于神经切向核方法的深度神经网络类增量学习方法（TKIL），可以更好地平衡跨类别的性能，实现更高的整体准确性和方差。

    Jun, 2022

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023