SuperPos-Prompt: 使用多个令牌嵌入的叠加来增强语言模型的软提示调优

Jun, 2024

SuperPos-Prompt: 使用多个令牌嵌入的叠加来增强语言模型的软提示调优

SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings

MohammadAli SadraeiJavaeri, Ehsaneddin Asgari, Alice Carolyn McHardy, Hamid Reza Rabiee

TL;DR在参数高效调整预训练语言模型方面，软提示调整技术最近已经引起了广泛关注，尤其是减少模型参数调整所需的工作。尽管它们的使用越来越多，但是在使用软提示进行最优调整，特别是在较小的数据集上，仍然面临着重大挑战。该研究在这个领域做出了两个贡献：（i）我们引入了 SuperPos-Prompt，一种新的重新参数化技术，采用多个预训练词汇嵌入的叠加来改善软提示的学习。我们在几个 GLUE 和 SuperGLUE 基准测试中的实验一致表明 SuperPos-Prompt 优于 Residual Prompt 调整，在 T5-Small 上平均得分增加了 6.4，T5-Base 上增加了 5.0，并且收敛速度更快。值得注意的是，SuperPos-Prompt 有时甚至超过了完整的微调方法。（ii）此外，我们通过从冻结网络中省略丢失操作，展示了增强的性能和快速收敛，从而在各种场景和调整方法中持续改进。

Abstract

soft prompt tuning techniques have recently gained traction as an effective strategy for the parameter-efficient tuning of pretrained language models, particularly minimizing the required adjustment of model para

soft prompt tuning pretrained language models superpos-prompt reparameterization technique learning of soft prompts

发现论文，激发创造

残差提示调节：使用残差重参数化改进提示调节

本研究提出了一种简单而高效的 Residual Prompt Tuning 方法，通过重新参数化软提示嵌入来显著提高 prompt 调整的性能和稳定性，在 SuperGLUE 基准测试中比 prompt 调整表现显著优异，减少提示长度 10 倍不损害性能，且在少样本学习领域也表现良好。

May, 2023

动态提示：一种用于提示调整的统一框架

本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

结构化提示调整

本文提出了一种名为 “结构化提示调整” 的简单有效的方法来改进提示调整，并比较了其与标准提示调整的实验结果。该方法通过超级网络生成柔性提示嵌入，可以更灵活地应用于模型设计和单任务、多任务训练环境。实验证明，相比标准提示调整，结构化提示调整在 GLUE 基准测试中得分提升了 + 1.2~1.5 分，并且对学习率的改变不敏感。

May, 2022

SPoT: 通过软提示传递实现更好的冻结模型调整

本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

Oct, 2021

基于规模的参数高效提示微调技术的强大性

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

软提示检索增强零样本任务泛化能力

本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了 0.007％的额外参数，但在大型基准测试上提高了 2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。

Oct, 2022

跨语言迁移的软提示调整：少即是多

通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。

Feb, 2024

XPrompt：探索提示调整的极端

本文提出了一种名为 XPrompt 的新型 Prompt tuning 模型，采用分层结构裁剪方法消除负面的 prompt token 从而优化下游任务的表现，在 SuperGLUE 测试中，在小型模型中能够接近或优于微调方法的性能水平。

Oct, 2022

通过低秩重参数化分解的提示调整

通过低秩矩阵来初始化软提示以减少可训练参数数量并保持有效性，进而提出分解式提示调优方法，并在高资源和低资源场景下的 SuperGLUE 基准实验结果表明了该方法的有效性。

Oct, 2023

低资源语义解析的提示微调能力

本文研究了针对语义分析的提示调整方法，发现在低资源分裂的情况下，提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大，提示调整的 T5 模型在生成目标表示方面得到了进一步提高。

Oct, 2021