May, 2021

文本分类的规则提示调整

PDF
TL;DR本文提出了基于规则的提示调整 (PTR) 方法，将逻辑规则应用于构建提示，以便在许多类别的文本分类任务中编码先前知识，并通过对关系分类进行实验，证明 PTR 能显著且一致地优于现有的最先进基线。
发现论文，激发创造
  • 针对少样本文本分类的统一提示调整

    该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

    May, 2022

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 知识化提示微调：将知识融入文本分类的提示语生成器

    本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

    Aug, 2021

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 通过基于指令的微调和规则指导优化 PLM 在劳动力市场任务的性能

    使用基于提示的预训练语言模型调整的方法，可以在劳动力市场特定应用中显著提高性能，而无需引入额外模型层、手动注释和数据增强。

    Aug, 2023

  • 针对具有鉴别力的预训练语言模型的提示调节

    该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

    May, 2022

  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • FPT：用于少样本可读性评估的特征提示调整

    我们提出了一种新的基于提示的调优框架，称为特征提示调优（FPT），它结合了丰富的语言知识，通过从文本中提取语言特征并将其嵌入可训练的软提示，进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序，实验证明我们的方法在诸多方面均显著提高了性能，并超越了先前引入语言特征的方法以及大型语言模型 gpt-3.5-turbo-16k。我们的方法为提示调优建立了一种新的体系结构，并为如何轻松调整语言特征来适应与语言相关的任务提供了指导。

    Apr, 2024

  • 基于提示调整的语音分类任务 SpeechPrompt v2

    本文提出了 “SpeechPrompt V2” 语音分类的编程框架，该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。

    Mar, 2023