Few-shot 意图分类的预训练有效性

EMNLPSep, 2021

Effectiveness of Pre-training for Few-shot Intent Classification

Haode Zhang, Yuwei Zhang, Li-Ming Zhan, Jiaxin Chen, Guangyuan Shi...

TL;DR本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

Abstract

This paper investigates the effectiveness of pre-training for few-shot intent classification. While existing paradigms commonly further pre-train language models such as bert on a vast amount of unlabeled corpus,

pre-training few-shot intent classification bert labeled data intentbert

发现论文，激发创造

基于对比度预训练和微调的小样本意图检测

本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

Sep, 2021

使用 PLMs 重新审视少样本意图分类：直接微调 vs. 连续预训练

本文针对少样本意图检测任务进行研究，提出一种新的方法，即直接在少量标记数据上对预训练语言模型（PLMs）进行微调，使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明，该方法优于许多强基线方法，甚至是在只有每类两个或更多标记样本的情况下。

Jun, 2023

针对零样本和少样本意图分类的预训练意图感知编码器

本研究提出一种使用对比学习和伪标签的方法来预训练文本编码器，旨在提高任务导向对话系统中意图分类的性能。通过在四个意图分类数据集上进行实验，我们的预训练意图感知编码器 (PIE) 模型相比于现有最先进的预训练句子编码器，在 N 路零 / 一次测试中获得了高达 5.4% 和 4.0% 的精度提高。

May, 2023

FILM: 少样本图像分类如何从预训练语言模型中受益？

本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

Jul, 2023

对预训练语言模型进行微调以进行少样本意图检测：监督式预训练和各项同性化

本文研究了如何在任务导向的对话系统中仅通过少量标注进行有效的意图分类器训练，提出了使用各向同性正则化改进有监督预训练的方法，并通过大量实验验证了其有效性。

May, 2022

基于模板的零 - shot 意图识别方法

探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

Jun, 2022

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

May, 2022

低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Aug, 2019

探索零样本和小样本技术用于意图分类

本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

May, 2023