通过数据集和训练精化实现更公平的基于类别的增量学习
Class-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forgetting, and imbalanced forgetting, but these issues can be addressed using reweighting techniques and a distribution-aware knowledge distillation loss, leading to consistent improvements in performance.
Feb, 2024
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而 CIL 算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
在大规模的 ImageNet 数据集上,我们探索了一种从已经训练好的模型中增量学习的方法,通过二阶段训练方案,融合与增强,我们的方法比现有的方法在准确率上提高了 10%。
Apr, 2022
基于预训练模型的类增量学习中,平衡因果效应的方法(BaCE)通过构建来自新旧数据到新旧类别预测的因果路径,解决了新旧类别之间的因果失衡问题,并在多个任务和设置上优于其他类增量学习方法。
Feb, 2024
我们提出了一种新的无样本增量学习方法,通过采用多分布匹配扩散模型来统一训练数据的质量,弥合不同域之间的差距,并通过选择性合成图像增强来扩展训练数据的分布,从而增强模型的可塑性和最终组件的性能,在增量训练期间提升模型的稳定性,实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。
Mar, 2024
本文提出了两种长尾分布的增量学习场景,研究了在这两个场景下现有方法的表现,并提出了一种包含学习可调权重层的两阶段基线,用于减少由长尾分布引起的偏差,同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上,该方法表现卓越(最高平均增量精度提高 6.44 个百分点)。
Oct, 2022
本文提出了一种基于领域自适应的增量式学习方法,即 DA-CIL,通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明,DA-CIL 在领域自适应增量学习场景下具有较好的性能。
Dec, 2022
本论文研究了增量学习的问题,提出了一种采用主动和非均衡的采样方法,将增量学习视为一个非均衡学习问题,通过类别预测缩放降低不平衡的影响,针对四个视觉数据集进行了评估,并表明该方案对于减少主动和标准增量学习性能之间的差距产生了积极的效果。
Aug, 2020