本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

Oct, 2023

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

Jun, 2022

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

Feb, 2024

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

May, 2022

本文提出了一种名为 OPTIMA 的算法，通过领域自适应来改进预处理语言模型的 prompt tuning，结果表明 OPTIMA 可以显著提高 prompt tuning 的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。

Oct, 2022

本文提出了一种在生物医学领域中进行基于提示微调的方法，以帮助模型在微调时学习生物医学领域中的罕见术语，实验结果表明，该方法可以在不使用额外参数或训练步骤的情况下在生物医学自然语言推理任务中实现高达 6% 的性能提升。

Sep, 2022