本文提出了一种新颖的框架，Selective Prompt Tuning (SPT)，通过在每个中间层插入由可学习的概率门控制的提示来学习选择适当的提示层，进一步提出了一种新颖的双层优化框架 SPT-DARTS，可以更好地优化可学习门并改善所学提示层设置的最终提示调整性能，实验证明我们的 SPT 框架在全数据和少样本情况下比以往的最先进的 PETuning 基准方法表现更好，参数可调性相当或更少。
Oct, 2023
通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。
Feb, 2024
SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。
Dec, 2022
通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。
Mar, 2024
本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。
Sep, 2023
CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。
Apr, 2022
本论文提出了软提示调整强化密集检索的 SPTAR 模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。
Jul, 2023
通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。
本文提出了一种针对开放域问答中重新排序的特定段落提示调优方法（PSPT），该方法能够通过微调可学习的段落特定软提示，并结合限定的问题 - 段落相关性对段落特定知识进行增强，以基于模型生成问题的对数似然和学到的软提示对检索到的段落进行排序。通过在三个公开可用的开放域问答数据集上使用 Llama-2-chat-7B 模型进行广泛实验，结果证明了所提方法的有效性。
May, 2024
利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。
Apr, 2024