FOCIL：通过训练随机修剪的稀疏专家进行在线课堂增量学习的微调和冻结

Mar, 2024

FOCIL：通过训练随机修剪的稀疏专家进行在线课堂增量学习的微调和冻结

FOCIL: Finetune-and-Freeze for Online Class Incremental Learning by Training Randomly Pruned Sparse Experts

Murat Onur Yildirim, Elif Ceren Gok Yildirim, Decebal Constantin Mocanu, Joaquin Vanschoren

TL;DR基于在线继续学习的类别增量学习 (Class incremental learning, CIL) 旨在从数据流中仅使用每个数据点进行一次训练，从一系列新类别中获得知识。本文提出了一种名为 FOCIL 的新的在线 CIL 方法，它通过为每个任务训练随机修剪的稀疏子网络来不断微调主体结构，然后冻结训练好的连接以防止遗忘。FOCIL 还能自适应地确定每个任务的稀疏度水平和学习速率，并确保在所有任务中（几乎）不会遗忘，而无需存储任何重播数据。10 个任务的 CIFAR100、20 个任务的 CIFAR100 和 100 个任务的 TinyImagenet 的实验结果表明，我们的方法在性能上大幅优于 SOTA。代码可在此 https URL 公开获取。

Abstract

class incremental learning (CIL) in an online continual learning setting strives to acquire knowledge on a series of novel classes from a data stream, using each data point only once for training. This is more re

class incremental learning online continual learning focil approach sparsity level forgetting

发现论文，激发创造

受限的少样本类增量学习

提出一种名为 C-FSCIL 的架构，利用超维嵌入，对每个新的类别进行异构存储策略，解决了记忆约束，并通过一些新的损失函数，进一步提高了类向量表示的质量。在 CIFAR100、miniImageNet 和 Omniglot 数据集上的实验结果表明，C-FSCIL 在几乎不用牺牲精度的情况下实现了很高的压缩比。

Mar, 2022

面向类增量学习的在线超参数优化

该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

Jan, 2023

设备上每类 12 毫焦耳的在线少样本分类 - 增量学习

本研究介绍了一种在线少样本增量学习（O-FSCIL）方法，该方法通过使用预训练和元学习的特征提取器以及存储类别原型的可扩展显式内存，使机器学习系统能够仅使用少量标记示例来扩展其推理能力，同时不会忘记先前学习的类别。O-FSCIL 在 FSCIL CIFAR100 基准测试中获得了 68.62％的平均准确率，实现了最先进的结果。针对超低功耗平台，我们将 O-FSCIL 实现在 60 mW 的 GAP9 微控制器上，仅使用 12 mJ 的能量来展示在线学习能力。

Mar, 2024

AOCIL: 无示例分析型在线课堂增量学习，低时间和资源消耗

分析型在线课堂增量学习（AOCIL）是一个无需示例的方法，通过递归最小二乘法更新分析分类器（AC）实现高准确性、低资源消耗和数据隐私保护，能够处理 OCIL 情景。

Mar, 2024

持续进化的分类器用于小样本增量学习

本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

Apr, 2021

减少偏差的少样本递增学习

本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

Feb, 2024

少样本类增量学习

该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

Apr, 2020

多模态参数高效的少样本类增量学习

本文提出了一种名为 CPE-CLIP 的参数高效持续学习方法，利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP 显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

Mar, 2023

增强的少样本逐类增量学习通过集合模型

通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

Jan, 2024

Few-Shot 类增量学习调查

本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

Apr, 2023