MetricPrompt: 以 Prompting 模型作为 Few-shot 文本分类的相关性评估度量

KDDJun, 2023

MetricPrompt: 以 Prompting 模型作为 Few-shot 文本分类的相关性评估度量

MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification

Hongyuan Dong, Weinan Zhang, Wanxiang Che

TL;DR本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题，将其转化为文本对相关性评估任务，使用 prompting 模型作为相关性度量，取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。

Abstract

prompting methods have shown impressive performance in a variety of text mining tasks and applications, especially few-shot ones. Despite the promising prospects, the performance of prompting model largely depends on the design of prompt template and verbalizer. In this work, we propos

prompting methods text mining few-shot text classification metricprompt relevance estimation

发现论文，激发创造

STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

Oct, 2022

短文本分类的 Prompt-Learning

本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

Feb, 2022

为少样本示例选择设计信息指标

我们提出了一种基于复杂性的提示选择方法，用于序列标注任务，该方法通过某些度量标准来对齐测试句子和示例的句法语义复杂性，从而提高预训练语言模型的性能。

Mar, 2024

针对少样本文本分类的统一提示调整

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

通过提示学习提高神经文本匹配的多任务泛化能力

本论文提出了一种特化 - 泛化训练策略 Match-Prompt，旨在帮助模型在不同的文本匹配任务中学习到本质的匹配信号，从而改善 Pre-trained Language Models 的多任务泛化能力和适应性。实验结果表明，Match-Prompt 在多个公共数据集上优于传统的 fine-tuning 策略。

Apr, 2022

AdaPrompt：基于提示的自然语言处理自适应模型训练

通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

Feb, 2022

TransPrompt v2：跨任务文本分类的可迁移提示框架

TransPrompt v2 是一种具有传递性的促进框架，用于跨相似或远距离文本分类任务的少样本学习，通过多任务元知识获取 (MMA) 过程和两项去偏技术，该元学习器可以在多个 NLP 任务和数据集上优于单任务和跨任务强基线，并改善预先未见任务上预训练语言模型的性能，同时在使用完整训练集进行学习时也优于强调优基线。

Aug, 2023

基于提示词的几何抽取方法在简历信息提取中的应用

本文介绍了一种应用 Prompt learning 到简历信息提取的方法，其中使用了 MLM 和 Seq2Seq PLMs，以及 Manual Knowledgeable Verbalizer (MKV)，并探讨了在应用场景下设计 Prompt templates 和 verbalizer 的规则。实验证明，基于这些规则设计出来的模板和 verbalizer 比现有的手动模板和自动生成的提示方法更有效和更具鲁棒性，同时 MKV 显著解决了样本不平衡问题。

Sep, 2022

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

检索增强的视觉提示学习用于少样本分类

本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

Jun, 2023