FeTT: 通过特征转换调整实现持续的类增量学习

May, 2024

FeTT: 通过特征转换调整实现持续的类增量学习

FeTT: Continual Class Incremental Learning via Feature Transformation Tuning

Sunyuan Qiang, Xuxin Lin, Yanyan Liang, Jun Wan, Du Zhang

TL;DR本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

Abstract

continual learning (CL) aims to extend deep models from static and enclosed environments to dynamic and complex scenarios, enabling systems to continuously acquire new knowledge of novel categories without forgetting previously learned knowledge. Recent CL models have gradually shifted

continual learning pre-trained models parameter-efficient fine-tuning catastrophic forgetting feature transformation tuning

发现论文，激发创造

用于判别性和生成性连续学习的高效特征变换

本文提出了一种称为 EFTs 的简单的任务特定特征映射转换策略，具有强大的灵活性，利用最小的参数增加了基本体系结构，使其在大规模场景下实用；我们还提出了一种特征距离最大化策略来完成类增量设置中的任务预测。通过在较广泛的一系列任务序列中的实验，包括区分性任务和生成任务，证明了该方法的实效性和效率。

Mar, 2021

持续学习中 PEFT 技术的选择：调优并不是你所需要的全部

本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响，使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性，同时具有相似的推理速度。

Jun, 2024

使用预训练模型的不断学习：调查

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

持续学习者是增量模型泛化器

本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

Jun, 2023

语义偏移增量适配器调整是一种持续的 ViTransformer

提出了一种增量调整的方法，通过逐渐调整共享适配器的参数而不施加参数更新约束，提高骨干网络的学习能力，并使用存储的原型进行特征采样以重新训练统一分类器，进一步改进性能，实验结果验证了该方法的有效性。

Mar, 2024

连续学习中实现遗忘预防和知识迁移

本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

Dec, 2021

反思基于预训练模型的无需排练连续学习的现状

探索了 P-RFCL（基于参数高效微调的 RFCL）方法在强大性能背后的驱动因素，揭示了其与最新的首任务自适应研究以及先前的 CL 标准之间的关系，并推动标准 RFCL 技术（如 EWC 或 SI）的发展。

Jun, 2024

借助测试时间适应，在大型预训练模型时代重新思考类别增量学习

针对类增量学习问题，我们提出了一种基于测试时间适应的方法（TTACIL），通过在每个测试实例上对预训练模型的层归一化参数进行微调，以学习任务特定特征，并将其重置为基本模型以保持稳定性，从而避免了遗忘，并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。

Oct, 2023

DLCFT：深度线性连续微调在通用增量学习中的应用

本文提出了一种基于预训练表示的持续微调模型的方法，其中使用线性化技术和二次参数正则化策略，可以在图像分类任务中实现高持续微调性能并防止遗忘，并可应用于数据、任务和类增量学习问题。

Aug, 2022

通过调整输入空间来使用预训练的骨干网络进行持续学习

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023