关于层标准化调整在视觉 Transformer 连续学习中的有效性

ICCVAug, 2023

关于层标准化调整在视觉 Transformer 连续学习中的有效性

On the Effectiveness of LayerNorm Tuning for Continual Learning in Vision Transformers

Thomas De Min, Massimiliano Mancini, Karteek Alahari, Xavier Alameda-Pineda, Elisa Ricci

TL;DR通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在 ImageNet-R 和 CIFAR-100 实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

Abstract

State-of-the-art rehearsal-free continual learning methods exploit the peculiarities of vision transformers to learn task-specific prompts, drastically reducing catastrophic forgetting. However, there is a tradeo

rehearshal-free continual learning vision transformers task-specific prompts transfer learning task-specific normalization layers

发现论文，激发创造

通过调整输入空间来使用预训练的骨干网络进行持续学习

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

通过选择性参数微调克服通用知识丢失

本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

Aug, 2023

LayerNorm: 参数高效微调中的关键组件

改进和优化 BERT 预训练模型以实现参数高效微调，通过分析不同组件，发现经过微调后，输出层规范化（LayerNorm）发生的变化最为显著。通过仅微调 LayerNorm，可以达到与完全微调和其他参数高效微调方法相当甚至更好的性能，并用 Fisher 信息确定了 LayerNorm 的关键子集，在 GLUE 基准测试中解决了许多 NLP 任务。

Mar, 2024

深入探究无复习持续学习

通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。

Mar, 2022

大型多模态模型的持续指令调优

本文研究了指令调整在持续学习大型多模型 (LMMs) 中的应用，并发现持续调整过程中仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题，此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。

Nov, 2023

专家混合遇上基于提示的连续学习

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

对话状态跟踪的继续提示调整

本文提出了一种连续的提示调整参数有效的框架，可避免对旧任务的遗忘并在任务之间实现知识转移，验证实验表明该方法在对话状态跟踪领域中具有有效性和高效性。

Mar, 2022

具有 Transformer 的内存高效的持续学习

使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

Mar, 2022

BiRT: 面向视觉 Transformer 的生物启发式重放以实现连续学习

本文提出了一种基于视觉转换器的表示重复的持续学习方法 BiRT，使用构造性噪声和指数移动平均模型实现预测的一致性，并在多个有挑战性的连续学习基准上提供持续的性能增益。

May, 2023

仅调整规范层的表达能力

本研究探讨了针对正则化层进行精调的可行性，并发现仅针对归一化层的调整能够重构任何目标网络，并验证了这一结论在过度参数化情况下仍然成立。

Feb, 2023