EMNLPOct, 2023

借助学习的提示层改进提示调优

PDF
TL;DR本文提出了一种新颖的框架，Selective Prompt Tuning (SPT)，通过在每个中间层插入由可学习的概率门控制的提示来学习选择适当的提示层，进一步提出了一种新颖的双层优化框架 SPT-DARTS，可以更好地优化可学习门并改善所学提示层设置的最终提示调整性能，实验证明我们的 SPT 框架在全数据和少样本情况下比以往的最先进的 PETuning 基准方法表现更好，参数可调性相当或更少。
prompt tuningpretrained modelsselective prompt tuninglearnable gatesbenchmark datasets
发现论文，激发创造
  • 跨语言迁移的软提示调整：少即是多

    通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。

    Feb, 2024

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022

  • SPT：多任务提示学习的半参数提示调整

    SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

    Dec, 2022

  • 个性化对话的选择性提示调整与 LLMs

    SPT 模型能够通过选择性提示调整语言模型以实现个性化对话，大幅提高响应的多样性，并改善其他关键性能指标，从而在促进吸引人和个性化对话生成方面显示出高效性。

    Jun, 2024

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 通过软提示调整大型语言模型以辅助密集检索

    本论文提出了软提示调整强化密集检索的 SPTAR 模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。

    Jul, 2023

  • 通过渐进式训练提高提示调整效率的 FPT 模型

    本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。

    Nov, 2022

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • 多空间投影和提示融合的高效提示调整

    通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达 28.8％，训练时间减少了 14％。

    May, 2024

  • 针对具有鉴别力的预训练语言模型的提示调节

    该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

    May, 2022