Oct, 2022

模型集成而非提示融合：针对少样本提示调整的样本特定知识迁移方法

PDF
TL;DR本文关注于如何提高 Prompt tuning 在 few-shot learning 任务中的性能。作者们实现了带有多种 source prompts 的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了 Sample-specific Ensemble of Source Models (SESoM) 方法。他们在八个 NLP 任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。
发现论文，激发创造
  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • SPoT: 通过软提示传递实现更好的冻结模型调整

    本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

    Oct, 2021

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 元梯度正则化下的自监督元提示学习，用于小样本泛化

    这篇论文提出了一种名为 SUPMER 的 Self-sUpervised meta-Prompt 学习框架，通过自主学习锚定 Meta-Training 任务和整体学习的方法，实现 Prompt Tuning 在 few-shot learning 任务中领先于其他方法，同时也加强了领域通用性的性能。

    Mar, 2023

  • 大型语言模型的增强型提示集成

    我们提出了一种基于提示集成的方法来进一步提高语言模型推理性能，并在 GSM8k 和 AQuA 数据集上的实验中验证了该方法的优越性。

    Apr, 2023

  • STT: 少样本调整的软模板调整

    本研究提出了一种新的 prompt tuning 框架 (Soft Template Tuning，STT)，它综合了手动和自动提示，将下游分类任务视为遮蔽式语言建模任务，并通过大量实证研究表明，STT 可以在不引入额外参数的情况下缩小 fine-tuning 和 prompt-based 方法之间的差距，并且在情感分类任务上甚至可以超越费时和资源消耗更高的 fine-tuning 方法。

    Jul, 2022

  • 多任务提示调整实现参数效率转移学习

    我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

    Mar, 2023

  • 本体增强的少样本学习提示微调

    本研究提出了一个基于知识注入和预训练语言模型的本体增强提示调整（OntoPrompt）方法，能够处理结构数据缺失、噪声和异质性问题，该方法在关系抽取、事件提取和知识图谱完成等三个任务中得到了比基准更好的性能。

    Jan, 2022

  • Few-shot 统一问答：调整模型还是提示？

    该研究探讨了在低资源情境下，两种调节策略（模型与提示）实现统一问答模型的潜力，并使用 16 个 QA 数据集进行了详尽的分析。研究表明，提示调节在良好初始化的几轮训练下，可以和模型调节相媲美，并且参数共享会带来更优的表现，提示初始化的简单知识迁移技术可以有效，提示调节在低资源情境下从预训练中获得了显著的性能提升。本研究为在低资源情景下实现有效和高效问答系统的优点和局限性提供了见解。

    May, 2023

  • 零迁移连续提示：跨语言模型泛化任务语义

    我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

    Oct, 2023