提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

本文提出了一种自适应提示构建策略，利用 seq2seq-attention 结构获取输入序列的语义信息，并动态构建自适应提示，可以改善提示的质量，且通过预训练的提示有效地推广至其他领域。在 FewCLUE 数据集上的实验证明了该方法的有效性和超过先前最先进方法的表现。

May, 2022

通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

Feb, 2022

利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题，它以前向传递为基础，无需数据重放或大量的任务特定参数，并且其推动学习的方式有助于抵御灾难性遗忘，实验表明相对于 T5 模型的最佳方法，平均测试准确性提高了 20% 以上，即使在较长序列的任务中，我们的方法也明显优于之前的方法。

Jan, 2023

本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

Jan, 2024

本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

Jan, 2022

利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。

Jan, 2024

基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

Apr, 2024

本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

Jun, 2023

我们提出了一种自适应提示方法，通过宏观语义分配和微观语义细化的过程，根据任务语义量身定制最小且足够的提示，以提高在真实连续学习环境中学习的效率和效果。实验证明，该方法在适应各种任务中的不同语义转变方面始终优于现有方法。

Nov, 2023