面向非样本半监督类增量学习
本文提出了一种新的无需回放的类增量学习方法,该方法通过学习两个互补学习子网络之间的协同作用,包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据,可以掌握新的课程,同时保持对以前学习过的课程的识别和知识保留。
Jun, 2023
通过使用简单的递增表示 (IR) 框架,使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘,我们提出了一个用于非示例类增量学习 (efCIL) 的方法,实现在合并新类知识的同时保留先前学到的信息,而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明,我们提出的 IR 方法在性能上与其他方法相媲美,同时显著防止模型遗忘。
Mar, 2024
通过分析类增量学习中灾难性遗忘的原因,我们提出了一个两阶段学习框架,其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本,是一种非范例基于的 CIL 方法。在公共数据集上的实验证明,我们的方法在保留每类 5 个示例和 10 个阶段递增设置下,比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%,在 ImageNet100 上提高了 9.37%。
Aug, 2023
本文提出了一种基于压缩样本的识别模型的方法,通过动态压缩样本(通过 class activation maps 生成 0-1 遮罩屏蔽非鉴别性的像素点)并存入内存来实现无需进行手动注释的自适应压缩样本,通过在高分辨率的 CIL benchmarks(包括 Food-101, ImageNet-100, 和 ImageNet-1000)上进行了实验,结果显示,使用 CIM 压缩样本可以实现新的 CIL 精度的全新的最高水平。
Mar, 2023
我们提出了一种新的无样本增量学习方法,通过采用多分布匹配扩散模型来统一训练数据的质量,弥合不同域之间的差距,并通过选择性合成图像增强来扩展训练数据的分布,从而增强模型的可塑性和最终组件的性能,在增量训练期间提升模型的稳定性,实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。
Mar, 2024
在大规模的 ImageNet 数据集上,我们探索了一种从已经训练好的模型中增量学习的方法,通过二阶段训练方案,融合与增强,我们的方法比现有的方法在准确率上提高了 10%。
Apr, 2022
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而 CIL 算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题,提出了一种记忆资源高效利用的样本保存方案,并结合一种主副样本协作学习方案,以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。
Aug, 2020
本文提出了一种自我监督的增量对比学习框架 (ICL),采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL),从而避免了必须重训练的缺点,并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。
Jan, 2023
本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加,并提出了一种名为 MEMO 的基于共享泛化表示的基准,在保持代表性示例的同时,具有高效的内存管理和提取多样性特征的能力。
May, 2022