重新设置并忘记它：重新学习最后一层的权重提高持续和迁移学习

Oct, 2023

重新设置并忘记它：重新学习最后一层的权重提高持续和迁移学习

Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning

Lapo Frati, Neil Traft, Jeff Clune, Nick Cheney

TL;DR通过实验验证，本文发现通过反复重置最后一层的权重（即 “zapping”）的简单预训练机制可以提高迁移学习和持续学习的性能，这一机制在许多领域都适用，并且在计算上高效简单。

Abstract

This work identifies a simple pre-training mechanism that leads to representations exhibiting better continual and transfer learning. This mechanism -- the repeated resetting of weights in the last layer, which w

pre-training mechanism zapping transfer learning meta-learning continual learning

发现论文，激发创造

分离记忆编辑与模型更新的解耦继续学习

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

权重插值的持续学习

该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

Apr, 2024

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

RanPAC：用于连续学习的随机投影和预训练模型

本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023

通过调整输入空间来使用预训练的骨干网络进行持续学习

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

无遗忘迁移

本文研究了连续学习和迁移学习之间的纠缠关系，提出了一种新方法 Transfer without Forgetting 来解决预训练网络在后续任务中遗忘知识的问题，并证明其在各种数据集和不同缓冲区大小下都能显着优于其他连续学习方法，平均提高了 4.81％的类增量准确性。

Jun, 2022

高效的非回忆式零遗忘连续学习：自适应权重调节

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

缓解连续微调中的表征漂移

本文提出了一种包含两个组件（交叉卷积批量规范化和分层微调）的微调方法 ConFiT，旨在解决表示转移和批量规范化不一致的问题，并在四个数据集上得到了较低存储开销的优异性能表现。

Apr, 2022

持续学习的元整合

该论文提出了一种名为 MERLIN 的元学习方法，通过元分布 p（ψ|t）的学习和巩固，解决了神经网络在在线持续学习过程中忘记之前知识的问题，实验证明该方法优于现有的基线模型。

Oct, 2020

基于修正的知识保留连续学习

本文提出了一种新颖的深度学习方法，通过权重修正和仿射变换来解决在增量学习环境下的分类任务，适用于零样本和非零样本学习，并证明了该方法在多个数据集上的效果均超过现有方法。

Mar, 2021