基于提示的少样本调优的原型话语生成器

ACLMar, 2022

基于提示的少样本调优的原型话语生成器

Prototypical Verbalizer for Prompt-based Few-shot Tuning

Ganqu Cui, Shengding Hu, Ning Ding, Longtao Huang, Zhiyuan Liu

TL;DR提出了基于原型向量的语言预训练模型元素标定方法 ProtoVerb，使用对比学习算法在训练数据中学习原型向量作为元素标定器，显著优于现有自动元素标定器，特别是在数据稀缺场景下。ProtoVerb 即使在未调整的 PLMs 上也能提高基于提示的微调精度。

Abstract

Prompt-based tuning for pre-trained language models (PLMs) has shown its effectiveness in few-shot learning. Typically, prompt-based tuning wraps the input text into a cloze question. To make predictions, the mod

pre-trained language models few-shot learning verbalizer prototype vectors contrastive learning

发现论文，激发创造

从预训练语言模型中引发知识，以实现典型提示语言生成

本研究探讨了如何从预训练语言模型中提取知识，提出了一种基于原型的提示语言生成器，以优化模型并实现有效的零样本和少样本分类。

Jan, 2022

知识化提示微调：将知识融入文本分类的提示语生成器

本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

Aug, 2021

基于提示的少样本文本分类的进化语言生成搜索

本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器，在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性，进一步推进了小样本文本分类的研究。

Jun, 2023

一种新颖的示例调整方法：将特定场景概念融入到语言化生成模型中

我们提出了一种新颖的方法来构建标签器，该方法通过从任务特定的场景中提取丰富的概念作为标签词候选者，并开发了一种新颖的级联校准模块来将候选词精炼为每个类的标签词集合，在零样本文本分类的广泛实验中，我们的方法表现优于现有方法，并取得了最新的结果。

Jan, 2024

元学习和代表性语音化实现有效结构化提示

本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。

Jun, 2023

基于原型的提示学习：基于预训练的视觉语言模型的原型提示学习

本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法（PTP），用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示，从而有效地利用潜在知识并适应各种 PVLM。

Oct, 2022

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

预训练语言模型的对比演示调整

本文提出一种新颖的对比演示调整方法，它是可插拔、可扩展和高效的，可用于调整预先训练的语言模型来执行分类任务。实验结果表明，这种方法与先前的方法 LM-BFF 和 P-tuning 相结合可以提高性能。

Apr, 2022

PERFECT：语言模型下基于 Few-shot 的自动学习算法

本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。

Apr, 2022

基于语言模型的半监督学习的可扩展提示生成

本文提出两种自动设计多种提示并集成自动 verbalizer 的 SSL 方法，其中第一种通过可学习的持续提示令牌使用各种演示示例生成多样化的提示模型，第二种使用不同数量的软提示令牌鼓励语言模型学习不同的提示。通过使用原型 verbalizer 替换手动 verbalizer，在不同的少样本学习设置中获得了最好的平均准确率（73.2％，相对于先前使用手动提示和 verbalizer 的最新 SSL 方法的相对提高 2.52％）。

Feb, 2023