May, 2022

基于软提示的注意力混合多任务调参的参数高效化尝试

HTML
PDF
TL;DR本论文提出了一种名为 ATTEMPT 的新型多任务、参数高效的语言模型微调方法，通过简短的前缀嵌入向量预先训练不同任务，学习跨任务传递知识。该方法通过源提示的编码，在每个实例中对目标任务进行源提示和新初始化的目标提示的插值训练注意力模块。在训练期间，仅更新目标任务提示和注意权重，同时保持原始语言模型和源提示不变。实验结果表明，ATTEMPT 显著优于提示微调，并优于或匹配完全微调或使用超过十倍参数的其他参数高效调整方法。最后，在少次学习设置下，ATTEMPT 优于以前的工作。
发现论文，激发创造
  • 关于prompt tuning在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT)的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • 预训练语言模型的实例级提示调整

    本文提出了Instance-wise Prompt Tuning （IPT）方法，该方法是基于Prompt Learning的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的Prompt Learning方法，达到仅有0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • 模型集成而非提示融合：针对少样本提示调整的样本特定知识迁移方法

    本文关注于如何提高Prompt tuning在few-shot learning任务中的性能。作者们实现了带有多种source prompts的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了Sample-specific Ensemble of Source Models (SESoM)方法。他们在八个NLP任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

    Oct, 2022

  • SPT：多任务提示学习的半参数提示调整

    SPT是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过Fine-Tuning GLUE数据集以及在五个自然语言处理任务类别下评估零-shot泛化以及在SuperGLUE数据集上预训练，众多实验证明了其有效性。

    Dec, 2022

  • 多任务提示调整实现参数效率转移学习

    我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。

    Mar, 2023

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略(DP)来优化LMs的prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明DP能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • 论注意力在提示调整中的作用

    本文针对单层的注意力机制和上下文混合模型, 探究了Prompt-tuning的策略, 并分析了Prompt在梯度下降过程中学到的规律和其在上下文中的表现, 最终提出了有关Prompt-tuning的理论解释和实验验证。

    Jun, 2023

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • 任务提示向量：通过多任务软提示转移的有效初始化

    本研究解决了现有软提示方法在多任务情况下需重复训练的问题，提出了通过软提示的调优权重与随机初始化权重之间的元素差异构建任务提示向量的新方法。实验表明，任务提示向量能够在低资源环境下有效初始化相似任务的提示调优，并且与随机初始化无关，从而在多个任务的加法运算中表现优于某些先进基线。

    Aug, 2024

  • 通过模块化提示组合优化的多任务提示调优提升少样本迁移学习

    本研究解决了多任务提示调优在知识转移方面的性能不足问题。提出了一种新的方法，将目标任务的提示分解为共享提示和特定任务提示，通过组合来优化最终提示。在少样本设置下，该方法显著提高了准确性和稳健性，相较于传统提示调优方法和其他相关研究，显示出更优越的表现。

    Aug, 2024