在参数高效调整预训练语言模型方面，软提示调整技术最近已经引起了广泛关注，尤其是减少模型参数调整所需的工作。尽管它们的使用越来越多，但是在使用软提示进行最优调整，特别是在较小的数据集上，仍然面临着重大挑战。该研究在这个领域做出了两个贡献：（i）我们引入了 SuperPos-Prompt，一种新的重新参数化技术，采用多个预训练词汇嵌入的叠加来改善软提示的学习。我们在几个 GLUE 和 SuperGLUE 基准测试中的实验一致表明 SuperPos-Prompt 优于 Residual Prompt 调整，在 T5-Small 上平均得分增加了 6.4，T5-Base 上增加了 5.0，并且收敛速度更快。值得注意的是，SuperPos-Prompt 有时甚至超过了完整的微调方法。（ii）此外，我们通过从冻结网络中省略丢失操作，展示了增强的性能和快速收敛，从而在各种场景和调整方法中持续改进。

Jun, 2024

通过低秩矩阵来初始化软提示以减少可训练参数数量并保持有效性，进而提出分解式提示调优方法，并在高资源和低资源场景下的 SuperGLUE 基准实验结果表明了该方法的有效性。

Oct, 2023

本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

Jul, 2022

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本文提出了一种名为 “结构化提示调整” 的简单有效的方法来改进提示调整，并比较了其与标准提示调整的实验结果。该方法通过超级网络生成柔性提示嵌入，可以更灵活地应用于模型设计和单任务、多任务训练环境。实验证明，相比标准提示调整，结构化提示调整在 GLUE 基准测试中得分提升了 + 1.2~1.5 分，并且对学习率的改变不敏感。

May, 2022

该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

Oct, 2022

本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

本文提出了一种名为 XPrompt 的新型 Prompt tuning 模型，采用分层结构裁剪方法消除负面的 prompt token 从而优化下游任务的表现，在 SuperGLUE 测试中，在小型模型中能够接近或优于微调方法的性能水平。

Oct, 2022

通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达 28.8％，训练时间减少了 14％。

May, 2024

研究表明，在自然语言理解任务中，prompt tuning 相比下游微调能更好地利用大型语言模型的优势，但是现有的 prompt tuning 方法在训练时存在不稳定性问题。本文提出了基于扰动的正则化方法，将其应用到 prompt tuning 中，从而稳定训练并提高准确性。实验结果表明，本文提出的新方法在 SuperGLUE 和 FewGLUE 基准测试中分别比现有状态 - of-the-art 方法提高了 1.94％和 2.34％。

May, 2023