TaE: 面向长尾类增量学习的任务感知可扩展表示
本文提出了两种长尾分布的增量学习场景,研究了在这两个场景下现有方法的表现,并提出了一种包含学习可调权重层的两阶段基线,用于减少由长尾分布引起的偏差,同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上,该方法表现卓越(最高平均增量精度提高 6.44 个百分点)。
Oct, 2022
针对类增量学习问题,我们提出了一种基于测试时间适应的方法(TTACIL),通过在每个测试实例上对预训练模型的层归一化参数进行微调,以学习任务特定特征,并将其重置为基本模型以保持稳定性,从而避免了遗忘,并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。
Oct, 2023
通过使用多层知识蒸馏等技术,原有的动态扩展架构被改进,被称作任务相关增量学习(TCIL),以改善现有的一些问题,比如任务冲突和遗忘问题,在 CIFAR100 和 ImageNet100 数据集上,实验证明 TCIL 显著提高了准确性。
Dec, 2022
本研究提出了一种称为 eTag 的方法,通过嵌入蒸馏和面向任务的生成,无需存储样本或原型即可增量训练神经网络,以解决 Class-Incremental Learning 中的遗忘问题,并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。
Apr, 2023
在这篇论文中,我们提出了基于预训练模型(PTM)的类增量学习的扩展子空间集成(EASE)方法,通过为每个新任务训练一个独立的轻量级适配器模块来实现模型的有效更新,以创建任务特定的子空间,并通过语义引导的原型补全策略合成旧类别的新特征。大量实验证实了 EASE 在七个基准数据集上的最先进性能。
Mar, 2024
提出了一种基于 Dense Network Expansion 和 Cross-Task Attention 机制的类别增量学习方法,实现了在保持旧数据特征空间的基础上,减缓网络和特征规模增长速率,解决了算法复杂度和准确率之间的 trade-off 问题。
Mar, 2023
通过延展融合层并与冻结先前参数并行,然后无损地将扩展参数吸收到主干网络中,以确保参数数量恒定,同时采用新型的原型对比损失减少特征空间中新旧类别的重叠,并提出一种生成伪特征以校正分类器的新方法。实验结果表明,在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上,与之前的研究相比,我们的模型获得了显著的改进,分别提高了 5.38%、5.20%和 4.92%。
Mar, 2024
通过使用简单的递增表示 (IR) 框架,使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘,我们提出了一个用于非示例类增量学习 (efCIL) 的方法,实现在合并新类知识的同时保留先前学到的信息,而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明,我们提出的 IR 方法在性能上与其他方法相媲美,同时显著防止模型遗忘。
Mar, 2024
本研究介绍了一个两阶段的框架,旨在加强长尾类增量学习,使模型能够在逐步学习新类别的同时,减轻在长尾数据分布中可能出现的灾难性遗忘。该框架通过利用全局方差作为信息度量和第二阶段的类别原型,实现了分类器的对齐,从而有效捕捉类别属性,消除了数据平衡或额外层调整的需求。在第一阶段使用传统的类别增量学习损失函数的同时,该方法加入了混合类别以学习鲁棒的特征表示,确保更平滑的边界。该框架可以作为一个模块与任何类别增量学习方法无缝集成,有效处理长尾类增量学习场景。在 CIFAR-100 和 ImageNet-Subset 数据集上进行的大量实验证明了该方法的有效性,在各种长尾类增量学习设置中表现出了优越性。
Nov, 2023
本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加,并提出了一种名为 MEMO 的基于共享泛化表示的基准,在保持代表性示例的同时,具有高效的内存管理和提取多样性特征的能力。
May, 2022