Jun, 2022
预训练语言模型的实例级提示调整
Instance-wise Prompt Tuning for Pretrained Language Models
Yuezihan Jiang, Hao Yang, Junyang Lin, Hanyu Zhao, An Yang...
TL;DR本文提出了 Instance-wise Prompt Tuning (IPT)方法,该方法是基于 Prompt Learning 的新型范式,利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息,并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法,达到仅有 0.5%-1.5%调整参数时的基准微调性能。