ICMLJan, 2022

Protum: 一种基于 [MASK] 的新的提示调整方法

PDF
TL;DR本文提出了一种基于 'MASK' token 编码的 Prompt Tuning 方法 ——Protum，通过隐藏层信息构造分类任务并直接预测标签，相较于 fine-tuning，该方法在较短的时间内连续预训练后取得了更好的性能。
prompt tuningpre-trained language modelsmask tokensclassification taskcontinuous pre-training
发现论文，激发创造
  • PT-Tuning：通过提示词符调优来弥合时间序列掩码重构与预测之间的差距

    本论文针对时间序列遮蔽重构和预测之间的差距，提出了一种任务目标统一和适应任务难度的方法并且通过引入 PT-Tuning 范式进一步减小了差距，实验证明该方法在实际数据集上具有卓越的性能。

    Nov, 2023

  • 针对少样本文本分类的统一提示调整

    该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

    May, 2022

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • 动态掩码令牌表示的动态提示

    本篇论文提出了一种改进的 Prompt-based fine-tuning 方法，名为 DynaMaR，它通过动态 Prompt 和 Mask Token 表征来解决过度拟合和人工规划任务的问题，并在四个电子商务应用中实现了平均 10% 的 few-shot 设置和 3.7% 的数据丰富设置的性能提高。

    Jun, 2022

  • 基于提示调整的语音分类任务 SpeechPrompt v2

    本文提出了 “SpeechPrompt V2” 语音分类的编程框架，该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。

    Mar, 2023

  • 针对具有鉴别力的预训练语言模型的提示调节

    该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

    May, 2022

  • 使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

    本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

    Mar, 2022

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022

  • ToPro: 跨语言序列标注任务的令牌级提示分解

    通过将输入句子分解为单个标记并对每个标记应用一个提示模板，我们提出了一种名为 ToPro 的基于提示的方法，用于标记任务的标记级序列标注。在多语言 NER 和 POS 标记数据集上的实验证明，与 Vanilla fine-tuning 和 Prompt-Tuning 相比，ToPro-based fine-tuning 在零样本跨语言迁移方面表现优秀，尤其对于与源语言英语在语言类型上有所不同的语言。此外，我们在多语言大语言模型上的初步研究表明，ToPro 的性能要远远优于当前的上下文学习方法。总体而言，性能的提升表明 ToPro 有望成为标记任务的一种新颖且简单的基准方法。

    Jan, 2024