本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

Oct, 2021

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023

本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

May, 2022

本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

May, 2022

本文提出了一种名为 OPTIMA 的算法，通过领域自适应来改进预处理语言模型的 prompt tuning，结果表明 OPTIMA 可以显著提高 prompt tuning 的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。

Oct, 2022

提出了 TANDA 方法，该方法在自然语言任务中对预训练 Transformer 模型进行微调，通过利用大规模的高质量数据集将预训练模型传输到通用任务模型中，然后进行第二步微调以适应目标领域。在回答句子选择方面，我们建立了一个大规模的数据集来启用传输步骤，表明 TANDA 与 WikiQA 和 TREC-QA 等基准相比具有更高的 MAP 分数。TANDA 生成更稳定且鲁棒性更强的模型并降低了选择最佳超参数所需的工作量。

Nov, 2019

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022