Mar, 2023

元梯度正则化下的自监督元提示学习，用于小样本泛化

PDF
TL;DR这篇论文提出了一种名为 SUPMER 的 Self-sUpervised meta-Prompt 学习框架，通过自主学习锚定 Meta-Training 任务和整体学习的方法，实现 Prompt Tuning 在 few-shot learning 任务中领先于其他方法，同时也加强了领域通用性的性能。
prompt tuningfew-shot learningmeta-prompt learningself-supervised learningdomain generalization
发现论文，激发创造
  • 元规范化的提示学习

    通过 Prompt Meta-Regularization (ProMetaR) 方法，可以提高视觉语言模型中 prompt 学习的泛化能力，并可以从梯度对齐的角度解释这种改进。

    Apr, 2024

  • 面向少样本学习的模块化提示多任务预训练

    本文提出了一种名为 Multi-task Pre-trained Modular Prompt (MP2) 的方法，通过预训练可组合的 prompts 并进行选择性的激活和组合，加强 Prompt Tuning 在 few-shot learning 的应用。通过 Black-box tuning 和 Gradient descent 两种学习方式的实验，表明 MP2 在 few-shot 设置下明显优于 Prompt Tuning、Full model Tuning 以及先前的 Prompt pre-training 方法。此外，我们还证明了 MP2 可以通过学习仅有 8 个参数来实现令人惊讶的快速适应 Downstream tasks。

    Oct, 2022

  • 自我监督模型引导的普适框架，以提高参数效率的微调

    提出了一个增强参数高效方法的少样本适应和跨领域泛化能力的通用框架，通过使用自监督模型来迅速适应各种下游少样本任务，并在一个包含 160 个不同 NLP 任务的跨领域基准上进行了实验证明，在额外的训练任务调整 PLM 的前提下最佳性能，综合分析了各种少样本跨领域场景下的参数高效方法。

    Dec, 2022

  • 学会初始化：元学习是否可以改善提示调整中的跨任务泛化？

    本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善 PT 中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析。实验结果表明，MPT 的改进在分类任务中显著。

    Feb, 2023

  • 通过元学习学习更好的软提示初始化

    本文提出了 MetaPT，一种基于元学习的预训练方法来对话题进行自适应，并在 7 个下游任务中展示了比现有方法更好的性能和稳定性。

    May, 2022

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • SGL-PT: 具有图形提示调整的强大图形学习器

    本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

    Feb, 2023

  • 模型集成而非提示融合：针对少样本提示调整的样本特定知识迁移方法

    本文关注于如何提高 Prompt tuning 在 few-shot learning 任务中的性能。作者们实现了带有多种 source prompts 的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了 Sample-specific Ensemble of Source Models (SESoM) 方法。他们在八个 NLP 任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

    Oct, 2022

  • 自我调节提示：基础模型适应无需遗忘

    本文提出了一种称为 PromptSRC 的自正则化框架，以指导提示对特定任务和特定不可知通用表示进行优化，通过三种方法实现互相协调的学习，从而最大化下游任务的表现而不损害 CLIP 泛化能力。

    Jul, 2023