通过调整输入空间来使用预训练的骨干网络进行持续学习

Jun, 2023

通过调整输入空间来使用预训练的骨干网络进行持续学习

Continual Learning with Pretrained Backbones by Tuning in the Input Space

Simone Marullo, Matteo Tiezzi, Marco Gori, Stefano Melacci, Tinne Tuytelaars

TL;DR本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Abstract

The intrinsic difficulty in adapting deep learning models to non-stationary environments limits the applicability of neural networks to real-world tasks. This issue is critical in practical supervised learning settings, such as the ones in which a pre-trained model computes projections

deep learning non-stationary environments fine-tuning procedure continual learning image classification

发现论文，激发创造

DLCFT：深度线性连续微调在通用增量学习中的应用

本文提出了一种基于预训练表示的持续微调模型的方法，其中使用线性化技术和二次参数正则化策略，可以在图像分类任务中实现高持续微调性能并防止遗忘，并可应用于数据、任务和类增量学习问题。

Aug, 2022

关于层标准化调整在视觉 Transformer 连续学习中的有效性

通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在 ImageNet-R 和 CIFAR-100 实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

Aug, 2023

迈向具备预训练的持续学习通用框架

通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

Oct, 2023

持续预训练减轻语言和视觉遗忘问题

本文研究了预训练模型在流畅学习中的应用，证明了组合使用自监督预训练和微调模型可以有效地保留模型先前学习的知识，有效防止灾难性遗忘。

May, 2022

通过选择性参数微调克服通用知识丢失

本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

Aug, 2023

RanPAC：用于连续学习的随机投影和预训练模型

本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023

FeTT: 通过特征转换调整实现持续的类增量学习

本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

May, 2024

关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

May, 2023

muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％以上的参数。

May, 2022

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019