CVPRMar, 2023

通过反向特征投影在连续学习中保留线性可分性

PDF
TL;DR提出了 Backward Feature Projection (BFP) 方法用于解决持续学习中的灾难性遗忘问题，并通过学习线性变换来让新特征更具可塑性，从而保持了旧课程的线性可分性并允许新类的出现，实验证明 BFP 方法极大提高了模型性能和表达空间的线性可分性。
catastrophic forgettingcontinual learningknowledge distillationfeature spacebackward feature projection
发现论文，激发创造
  • 参数高效连续学习的梯度投影

    参数高效梯度投影（PEGP）是第一个在不同调节范例中数学证明提供抗遗忘机制的统一方法，通过将正交梯度投影引入不同的 PET 范例中，从而有效抵制 PET 基础的连续学习中的遗忘现象。

    May, 2024

  • 连续学习：特征提取形式化、有效算法和基本障碍

    本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

    Mar, 2022

  • 前向 - 后向知识蒸馏的持续聚类

    在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。

    May, 2024

  • 类梯度投影用于持续学习

    本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

    Nov, 2023

  • 学习低秩特征表示：在连续学习中更好地平衡稳定性和可塑性

    提出了一种名为 LRFR 的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集 CIFAR-100 和 TinyImageNet 上持续优于最先进的方法。

    Dec, 2023

  • 使用投影函数正则化持续学习自监督表示

    研究了自监督学习法在不重放机制的连续性学习中的应用，提出了一种新的 Projected Functional Regularization 方法，解决了学习新特征时遗忘以前学到信息的问题，取得了竞争性能。

    Dec, 2021

  • FeTrIL: 无模板增量学习特征翻译

    介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

    Nov, 2022

  • 网络连续学习中稳定性与可塑性困境的新见解

    本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

    Feb, 2023

  • 借助所有先前的特征提取器，在连续学习中保留之前的知识

    本文提出了一种利用所有之前学习的特征提取器的融合机制，并加入新的特征提取器和剪枝来防止模型膨胀，以降低早期学习旧知识的遗忘，从而有效改善连续学习性能表现。在多个分类任务上实验表明，该方法可以显著减少旧知识的遗忘，实现最先进的连续学习性能。

    Apr, 2021

  • FOSTER: 特征增强和压缩用于类增量学习

    提出了一种新的双阶段学习范式 FOSTER，通过动态模块扩展和有效的蒸馏策略来解决深度神经网络遗忘问题，实现自适应学习新类别，实验证明该方法在 CIFAR-100 和 ImageNet-100/1000 数据集下达到了最先进的性能。

    Apr, 2022