本研究提出了一种简单而高效的 Residual Prompt Tuning 方法，通过重新参数化软提示嵌入来显著提高 prompt 调整的性能和稳定性，在 SuperGLUE 基准测试中比 prompt 调整表现显著优异，减少提示长度 10 倍不损害性能，且在少样本学习领域也表现良好。

May, 2023

通过重新参数化低秩提示（RLP），我们设计了一种新型提示，用于高效和有效地适应基于视觉和语言的模型，并显著增加了传统提示调整的平均下游准确性，仅使用 0.5K 的参数。

Dec, 2023

在本论文中，我们提出了一种名为 LoPT 的低秩模型，用于优化提示信息，通过减少可训练参数数量，实现与完全参数的提示优化相似的效果，同时相较于现有方法需要的参数数量减少了 5 到 20 倍。

Jun, 2024

本文提出了一种名为 “结构化提示调整” 的简单有效的方法来改进提示调整，并比较了其与标准提示调整的实验结果。该方法通过超级网络生成柔性提示嵌入，可以更灵活地应用于模型设计和单任务、多任务训练环境。实验证明，相比标准提示调整，结构化提示调整在 GLUE 基准测试中得分提升了 + 1.2~1.5 分，并且对学习率的改变不敏感。

May, 2022

通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达 28.8％，训练时间减少了 14％。

May, 2024

该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

Oct, 2023

在参数高效调整预训练语言模型方面，软提示调整技术最近已经引起了广泛关注，尤其是减少模型参数调整所需的工作。尽管它们的使用越来越多，但是在使用软提示进行最优调整，特别是在较小的数据集上，仍然面临着重大挑战。该研究在这个领域做出了两个贡献：（i）我们引入了 SuperPos-Prompt，一种新的重新参数化技术，采用多个预训练词汇嵌入的叠加来改善软提示的学习。我们在几个 GLUE 和 SuperGLUE 基准测试中的实验一致表明 SuperPos-Prompt 优于 Residual Prompt 调整，在 T5-Small 上平均得分增加了 6.4，T5-Base 上增加了 5.0，并且收敛速度更快。值得注意的是，SuperPos-Prompt 有时甚至超过了完整的微调方法。（ii）此外，我们通过从冻结网络中省略丢失操作，展示了增强的性能和快速收敛，从而在各种场景和调整方法中持续改进。

Jun, 2024

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023