本文研究了可视识别算法中增量学习的问题，并探讨了一种基于二进制掩码的深度神经网络多任务学习方法，试验结果表明本方法能够超越传统的微调策略并取得最新公开数据集中的最高水平。

May, 2018

这篇论文提出一个名为 SPG 的新技术，通过对每个参数的重要性进行软阻塞来解决在连续学习中防止灾难性遗忘、促进知识转移和解决能力问题的目标，并取得了显著的效果。

Jun, 2023

本文提出了一种有效的预训练语言模型利用方法，其中利用二进制选择性蒙版来代替微调的方法对预训练权重进行修改。对 Bert 和 Roberta 模型进行掩模和微调的广泛评估表明，我们的掩模方案在执行多个任务时具有可比性的性能，却具有更小的内存占用。通过本文内在评估，我们展示了由掩模语言模型计算的表征编码了解决下游任务所需的信息。分析损失景观，我们展示了掩蔽和微调能够生成几乎具有恒定测试准确度的线段相连的值，证实了掩蔽是微调的有效替代方法。

Apr, 2020

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

Sep, 2023

本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

Apr, 2020

深度学习模型在计算机视觉中的一个主要缺点是它们无法以模块化的方式保留多个信息源。本研究结合了深度学习和权重掩码方法，研究了三种权重掩码方法，并分析了其在源任务上减少 “遗忘” 并在目标任务上进行高效微调的能力。发现不同的掩码技术在保留源任务知识的同时不会对目标任务性能产生不利影响。

Aug, 2023

本文提出了一种称之为无遗忘学习的方法，可以使用仅有的新任务数据对卷积神经网络进行训练，同时保留原有的能力，并实现与使用原始任务数据的多任务学习相当的性能。同时，该方法可能能够替代使用类似的旧和新任务数据集的微调来提高新任务性能。

Jun, 2016

介绍了一种称为 “超置换中的超蒙版”（SupSup）的神经网络模型，能够在不遗忘以前学习的任务的情况下，按顺序学习数千个任务，并通过存储各种任务的子网络来实现这一点。同时，该模型能够在保持最小内存使用的情况下，检测新任务并在运行时动态地添加新的子网络。

Jun, 2020

该研究提出使用可学习的记忆令牌来增强视觉 Transformer 模型，使其适应新任务，使用较少的参数，同时保留先前学习任务的能力。我们引入一组可学习的嵌入向量，即 “记忆令牌”，提供对特定数据集有用的上下文信息。该模型的准确性，通过每层只增加少量记忆令牌来显着改善，表现仅略低于显著更昂贵的完全微调。我们还提出了一个注意力掩模方法，使其能够扩展到新的下游任务，模型可在小的增量成本下同时执行旧任务和新任务。

Mar, 2022

我们提出了一种模型合并的算法，通过使用 TALL-masks 方法识别任务支持，在保留超过 99％的单任务准确性的同时，提高了现有模型合并方法的性能，并且我们的压缩方案将存储减少了 57Gb 到 8.2Gb，保留了 99.7％的原始性能。

May, 2024