本研究提出了 Prompt-aligned Gradient 算法（ProGrad）来防止针对 Prompt 的微调忘记从 VLM 学到的一般知识，并通过实验证明其比现有方法具有更强的 few-shot 泛化能力。

May, 2022

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024

基于预训练的 ViT 网络，结合提示调优技术应用于大型语言模型，本研究提出了一种基于正交投影的新型键 - 查询学习策略，增强了提示匹配效率并解决了特征转移的挑战。此外，引入了基于一对多的原型组件来增强分类头的区分度。基准数据集上的实验结果表明，我们的方法使模型的结果超过现有最先进方法多达 20%。

Nov, 2023

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

研究提出了对比原型提示 (CPP) 方法，通过任务特定的提示调整，在对比学习目标优化的基础上，有效地解决了随时间推移和原型干扰所导致的性能恶化问题，并在四项具有挑战性的类增量学习基准测试中表现出色，不需要排练缓冲区，并且在连续学习和线下联合学习之间大大缩小了性能差距，是一种有前途的改进方案。

Mar, 2023

本文探讨了基于视觉转换器（vision transformers）进行生成性知识转移的方法，通过引入可学习的提醒（prompt）标记和设计，成功地实现了良好的图像生成质量和知识转移。

Oct, 2022

本文提出一种名为 CoPrompt 的 fine-tuning 方法，用于提高大规模 foundation 模型在 few-shot 场景下 fine-tuning 过程中的泛化能力，实现方法包括强制任务输出一致性约束、在两个受扰动的输入之间进行一致性约束、并结合提示和适配器两种调整模式的优势来调整额外参数。实验表明，CoPrompt 在基于新颖类别、领域泛化以及跨数据集评估任务上均优于现有方法。

Jun, 2023

本文提出了神经架构搜索算法 Neural prOmpt seArcH（NOAH），利用 prompt 模块来学习大型视觉模型下游数据集的最优设计，通过在超过 20 种视觉数据集上的广泛实验，我们证明 NOAH 优于单个提示模块，具有良好的少样本学习能力并具有域通用性。

Jun, 2022

提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

Mar, 2021