通过渐进式训练提高提示调整效率的FPT模型
通过prompt tuning机制,使用backpropagation学习soft prompts以提升downstream tasks的性能,其中soft prompts可以与多个labeled examples相结合,这种方法比GPT-3的few-shot learning更有效,并且在语言模型规模达到10亿以上时,method的表现与model tuning相匹敌,而且具有更好的领域转移鲁棒性。
Apr, 2021
本文提出了一种名为PPT的框架,通过在预训练阶段添加软提示来获得更好的初始化,将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果,这对于实际使用大规模预训练语言模型是一种有效和高效的方法。
Sep, 2021
本文考察了使用预训练的语言模型进行 Prompt tuning (PT)的有效性,同时也研究了软提示在不同任务和不同模型之间的可迁移性,并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明,软提示迁移有望改善 PT,并建议进一步研究提示对模型的刺激方法
Nov, 2021
本文提出了Instance-wise Prompt Tuning (IPT)方法,该方法是基于Prompt Learning的新型范式,利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息,并在多个任务和资源设置中显着优于任务为基础的Prompt Learning方法,达到仅有0.5%-1.5%调整参数时的基准微调性能。
Jun, 2022
本文提出了一种适应预训练语言模型的技术,这种技术在只有 API 访问的情况下,通过软提示调整的方法进行微调,并且不需要访问 PLM 的任何内部表示,同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问PLM方法相竞争甚至超过它们。
Apr, 2023
本研究提出了一种简单而高效的Residual Prompt Tuning方法,通过重新参数化软提示嵌入来显著提高prompt调整的性能和稳定性,在SuperGLUE基准测试中比prompt调整表现显著优异,减少提示长度10倍不损害性能,且在少样本学习领域也表现良好。
May, 2023
通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化,我们提出了分解提示调优(DePT)。通过在23个自然语言处理(NLP)和视觉语言(VL)任务上的广泛实验,我们证明了DePT在某些情景下优于最先进的参数高效微调方法,包括完全微调基线。此外,我们的进一步研究揭示了DePT在模型规模增大时更加高效,并展示了DePT在少样本学习设置和各种模型架构和规模中的适应性。
Sep, 2023
通过多空间投影和提示融合的方式,我们提出了一种高效的提示调整方法(EPT),旨在解决平衡准确性和效率的问题,同时提升语言模型在不同下游任务上的表现。实验结果表明,相对改进百分比高达28.8%,训练时间减少了14%。
May, 2024
在本论文中,我们提出了一种名为LoPT的低秩模型,用于优化提示信息,通过减少可训练参数数量,实现与完全参数的提示优化相似的效果,同时相较于现有方法需要的参数数量减少了5到20倍。
Jun, 2024