eCIL-MU:基于嵌入的增量类学习和机器遗忘
本文研究了挑战性的连续学习(CL)设置下的类增量学习(CIL),证明了 CIL 是可学的,并基于理论提出了一种新的 CIL 算法,并通过实验结果证明了其有效性。
Jun, 2023
提出了一种基于自监督学习的类增量学习框架 CPPF,具有原型聚类模块、嵌入空间保留模块和多教师蒸馏模块,该方法在 CIFAR100 和 ImageNet100 数据集上实验证明了其对自监督类增量学习性能的提升。
Nov, 2023
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而 CIL 算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
基于神经元动力学调整的自激活模型,用于训练模型从非稳态数据流中学习新类别而不忘记旧类别,通过引入监督机制来指导网络扩展,使其在推理时自动激活所需的神经元单元以检索知识,从而在不同的背景下实现强大的增量学习性能。
Jun, 2024
本文提出了一种名为 “mnemonics” 自动化框架,通过维护先前类别的几个代表性示例,通过双层优化方式对其进行训练,探讨了较好的多类增量学习策略。mnemonics 在 CIFAR-100,ImageNet-Subset 和 ImageNet 三个 MCIL 基准上的实验结果表明,mnemonics 示例可大幅领先于现有技术。同时,mnemonics 的实例往往在不同类别之间的边界上,具有极大的研究兴趣。
Feb, 2020
通过使用简单的递增表示 (IR) 框架,使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘,我们提出了一个用于非示例类增量学习 (efCIL) 的方法,实现在合并新类知识的同时保留先前学到的信息,而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明,我们提出的 IR 方法在性能上与其他方法相媲美,同时显著防止模型遗忘。
Mar, 2024
在大规模的 ImageNet 数据集上,我们探索了一种从已经训练好的模型中增量学习的方法,通过二阶段训练方案,融合与增强,我们的方法比现有的方法在准确率上提高了 10%。
Apr, 2022
该研究提出了一种新方法,基于预测误差的分类(PEC),用于解决类递增学习中的遗忘和不平衡问题。实验结果表明,PEC 在单次数据通过的 CIL 中表现出色,能够在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。
May, 2023
本研究提出了一种称为 eTag 的方法,通过嵌入蒸馏和面向任务的生成,无需存储样本或原型即可增量训练神经网络,以解决 Class-Incremental Learning 中的遗忘问题,并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。
Apr, 2023
本文提出了一种新的无需回放的类增量学习方法,该方法通过学习两个互补学习子网络之间的协同作用,包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据,可以掌握新的课程,同时保持对以前学习过的课程的识别和知识保留。
Jun, 2023