该研究系统研究了文本和视觉提示的参数微调方法。他们提出了一个名为 Unified Prompt Tuning (UPT) 的方法，通过学习一个微小的神经网络来联合优化跨不同模态的提示，并在 11 个视觉数据集上进行了强有力的测试，取得了较好的 few-shot learning 和 domain generalization 的效果。

Oct, 2022

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

Jul, 2022

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

本文探讨将 Prompt 调参应用于多模态预训练，使用基于生成模型的统一序列到序列的预训练模型，实现轻量级 Prompt 调参，并与微调进行比较，通过实验研究发现 Prompt 调参具有改善鲁棒性的优点，但也存在一些局限性，给出了未来研究的方向。

Aug, 2022

本研究提出了一种名为 Q-tuning 的新方法，用于持续的提示调优，从而实现了预训练语言模型的终身学习。通过将新任务的提示添加到由旧任务的提示组成的提示队列中，Q-tuning 训练了一个特定于任务的提示。为了更好地传递旧任务的知识，我们设计了一种自适应的知识聚合技术，通过可学习的低秩矩阵重新加权队列中的先前提示。当提示队列达到最大容量时，我们利用基于 PCA 的驱逐规则来减小队列的大小，从而在保留旧任务的主要知识的同时添加新训练的提示。为了减轻由于驱逐而导致的信息丢失的积累，我们额外提出了一个全局共享的前缀提示和基于信息理论的内存保留正则化。广泛的实验证明，我们的方法在持续提示调优基准上显著优于最先进的方法。此外，我们的方法实现了在线性增长任务序列的终身学习，并且在训练和推断中保持恒定复杂度。

Apr, 2024

ProQA 是一个统一的 QA 范式，通过结构提示进行预训练，可以在所有 QA 任务中同时建模知识概括，同时保持每个特定 QA 任务的知识定制。实验证明其在 11 个 QA 基准上展示了强大的性能提升，并在连续学习和迁移学习等方面表现出强大的能力。

May, 2022

该论文提出了一种名为 DPT 的创新型视觉语言模型微调范式，它通过文本调整和任务调整重新定义视觉问题的目标函数形式来共同优化 VQA 模型的预训练和微调目标，以提高预训练 VL 模型对于下游任务的有效适应性，实验结果表明，DPT 在准确性方面显著优于微调对应物，无论是在完全监督（2.68％）还是零射击 / 少射击（超过 31％）的情况下。

May, 2022

本文研究了针对语义分析的提示调整方法，发现在低资源分裂的情况下，提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大，提示调整的 T5 模型在生成目标表示方面得到了进一步提高。

Oct, 2021

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022