提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

Jul, 2023

利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题，它以前向传递为基础，无需数据重放或大量的任务特定参数，并且其推动学习的方式有助于抵御灾难性遗忘，实验表明相对于 T5 模型的最佳方法，平均测试准确性提高了 20% 以上，即使在较长序列的任务中，我们的方法也明显优于之前的方法。

Jan, 2023

通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示池之间的关系，该损失仅在训练时应用，因此在推理阶段没有计算开销。通过引入 QR 损失，我们的方法在推理过程中仍然保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量连续学习基准测试中优于之前的两阶段 PCL 方法约 1.4%。

Feb, 2024

提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法，以管理任务不变和任务特定知识，从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。

Dec, 2021

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

Oct, 2022

本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

Jan, 2024

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024