Mar, 2024

增量表示的非示例无关类别增量学习

PDF
TL;DR通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。
exemplar-free class incremental learningefcilincremental representationdataset augmentationl2 space maintenance loss
发现论文，激发创造
  • REAL：增强表征的无范例类增量学习

    提出了一种表示增强的分析学习方法，通过双流基础预训练和表示增强蒸馏过程来改善无示例约束下的渐进学习过程，解决现有基于分析学习的渐进学习中骨干网络冻结导致的表征不足问题。在不同数据集上的实验结果表明，该方法在无示例约束的渐进学习中优于现有方法，并且与基于回放的方法相比具有可比甚至更优越的性能。

    Mar, 2024

  • FeTrIL++：基于山峰爬升的无样本增量学习的特征翻译

    FeTrIL 框架的研究扩展至新颖的实验领域，通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性，特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在 CIFAR100、Tiny-ImageNet 和 ImageNet-Subset 上进行全面实验，FeTrIL 在新旧类别的准确性平衡方面表现出卓越性能，相对于其他十种方法，其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响，为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的 EFCIL 方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘。

    Mar, 2024

  • 面向非样本半监督类增量学习

    创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

    Mar, 2024

  • 冷启动免示例增量学习的弹性特征整合

    Elastic Feature Consolidation (EFC) 通过对于 feature drift 的正则化，以及使用高度相关的方向和高斯原型来更新重要方向的特征漂移，成功解决了 Exemplar-Free Class Incremental Learning (EFCIL) 在 Cold Start 情景下的挑战，并在学习新任务时保持了模型的可塑性，明显优于最先进方法。

    Feb, 2024

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023

  • 助记训练：无遗忘的多类增量学习

    本文提出了一种名为 “mnemonics” 自动化框架，通过维护先前类别的几个代表性示例，通过双层优化方式对其进行训练，探讨了较好的多类增量学习策略。mnemonics 在 CIFAR-100，ImageNet-Subset 和 ImageNet 三个 MCIL 基准上的实验结果表明，mnemonics 示例可大幅领先于现有技术。同时，mnemonics 的实例往往在不同类别之间的边界上，具有极大的研究兴趣。

    Feb, 2020

  • 持续进化的分类器用于小样本增量学习

    本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

    Apr, 2021

  • 强预训练模型实现类别增量学习

    在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

    Apr, 2022

  • 603 样本模型：走向内存高效的类增量学习

    本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加，并提出了一种名为 MEMO 的基于共享泛化表示的基准，在保持代表性示例的同时，具有高效的内存管理和提取多样性特征的能力。

    May, 2022

  • 图像分类的内存高效类增量学习

    本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

    Aug, 2020