利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题，它以前向传递为基础，无需数据重放或大量的任务特定参数，并且其推动学习的方式有助于抵御灾难性遗忘，实验表明相对于 T5 模型的最佳方法，平均测试准确性提高了 20% 以上，即使在较长序列的任务中，我们的方法也明显优于之前的方法。

Jan, 2023

我们提出了一种使用提示池方法的持续学习方案，能够在测试中自动识别任务和选择适当的提示，并结合回放缓冲区进一步提高模型性能。

Nov, 2023

提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法，以管理任务不变和任务特定知识，从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。

Dec, 2021

提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

Nov, 2022

DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架，通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。

Apr, 2022

本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

Jan, 2024

通过超网络生成领域特定的提示，以解决一直持续预训练方法在新领域性能下降的问题，并促进跨领域的知识迁移。该方法在两个真实数据集上实现了 3.57% 和 3.4% 的改进，证明其有效性。

Oct, 2023

该论文研究了如何在对话管理中跟踪用户的信念，通过使用软提示令牌嵌入来学习任务属性，可以显著减少先前工作所需的参数数量，同时实现更好的低资源对话状态跟踪性能。

Jan, 2023

该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

Jul, 2023

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024