本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

May, 2024

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

Oct, 2023

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023

本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

Jul, 2023

我们提出了一种自适应提示方法，通过宏观语义分配和微观语义细化的过程，根据任务语义量身定制最小且足够的提示，以提高在真实连续学习环境中学习的效率和效果。实验证明，该方法在适应各种任务中的不同语义转变方面始终优于现有方法。

Nov, 2023

该研究提出了一种新的度量方法和 PANDA 方法来解决预训练语言模型中的 prompt 转移问题，PANDA 方法使用知识蒸馏技术来迁移源 prompt 中的知识到目标 prompt 中，从而避免源知识的灾难性遗忘。实验证明，该方法在各种 PLM 尺度场景下的性能均优于传统的 prompt 转移方法和模型调参方法。

Aug, 2022

本论文提出了一种基于 T5 模型的统一框架 LFPT5，它可以在少量标注样本的情况下解决 Lifelong Few-shot Language Learning 问题，通过生成伪样本、在新领域中训练以及最小化 KL 散度损失实现了对之前学习的领域的防遗忘，同时能够适应不同类型的任务，并在不同的 Lifelong Few-shot Language Learning 环境中显著优于之前的方法。

Oct, 2021

SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

Dec, 2022