通过prompt tuning机制，使用backpropagation学习soft prompts以提升downstream tasks的性能，其中soft prompts可以与多个labeled examples相结合，这种方法比GPT-3的few-shot learning更有效，并且在语言模型规模达到10亿以上时，method的表现与model tuning相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本文提出了一种名为PPT的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

本文提出了一种称为内在提示调整 (IPT) 的分析流程，用于在一个统一的低维自然语言处理任务子空间内进行自然语言处理(PLM)的调整，研究结果表明，在250维的子空间中只需调整250个自由参数，即可表现出高的通用性。

Oct, 2021

本文提出了input-tuning的概念，旨在通过fine-tuning连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过prompt-tuning。

Mar, 2022

本文提出了Instance-wise Prompt Tuning （IPT）方法，该方法是基于Prompt Learning的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的Prompt Learning方法，达到仅有0.5％-1.5％调整参数时的基准微调性能。

Jun, 2022

本论文提出了一种名为Fast Prompt Tuning的技术，通过将partial PLMs中的soft prompts转化到整个PLM中来提高prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省30%的训练计算资源。

Nov, 2022

本文提出了一种动态提示策略(DP)来优化LMs的prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明DP能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法(PCP)。实验证明，相较于传统方法，PCP在21个基准测试中表现更好。

May, 2023

通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在23个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了DePT在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了DePT在模型规模增大时更加高效，并展示了DePT在少样本学习设置和各种模型架构和规模中的适应性。

Sep, 2023

通过优化语言模型的权重和提示策略，我们提出了一个解决多阶段管道中无中间阶段标签的问题的近似优化策略，实验证明通过一起优化提示和权重能够显著提高性能。

Jul, 2024