基于对比度预训练和微调的小样本意图检测

EMNLPSep, 2021

基于对比度预训练和微调的小样本意图检测

Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning

Jianguo Zhang, Trung Bui, Seunghyun Yoon, Xiang Chen, Zhiwei Liu...

TL;DR本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

Abstract

In this work, we focus on a more challenging few-shot intent detection scenario where many intents are fine-grained and semantically similar. We present a simple yet effective few-shot intent detection schema via

few-shot intent detection contrastive pre-training fine-tuning supervised contrastive learning state-of-the-art performance

发现论文，激发创造

QAID: 基于问答启发的少样本意图检测

将意图识别重新定义为一个问答检索任务，通过批量对比损失采用了两阶段训练策略，提高了查询表示方法和同一意图答案间的上下文化令牌级相似度得分，最终在少样本意图识别测试上达到了最先进的性能。

Mar, 2023

Few-shot 意图分类的预训练有效性

本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

Sep, 2021

使用预训练和对比学习进行新意图发现

本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

May, 2022

使用 PLMs 重新审视少样本意图分类：直接微调 vs. 连续预训练

本文针对少样本意图检测任务进行研究，提出一种新的方法，即直接在少量标记数据上对预训练语言模型（PLMs）进行微调，使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明，该方法优于许多强基线方法，甚至是在只有每类两个或更多标记样本的情况下。

Jun, 2023

基于模板的零 - shot 意图识别方法

探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

Jun, 2022

基于多阶段粗 - 细对比学习的对话意图识别

本文提出了一个多阶段的粗到细对比学习模型训练方案，用于联合对比学习和聚类在任务导向的对话中识别意图，该方法在 DSTC11 跟踪 2 评估结果中排名第一。

Mar, 2023

半监督少样本意图分类与槽位填充

本文研究如何将对比学习和无监督数据增强应用于少样本学习，以改进自然语言理解中的意图分类和槽位填充任务。在标准的 IC/SF 基准测试中，我们的半监督方法通过在原有监督元学习技术中引入对比损失和数据增强方法，表现出优异的性能，特别是在少样本 IC 问题上表现更为突出。

Sep, 2021

对预训练语言模型进行微调以进行少样本意图检测：监督式预训练和各项同性化

本文研究了如何在任务导向的对话系统中仅通过少量标注进行有效的意图分类器训练，提出了使用各向同性正则化改进有监督预训练的方法，并通过大量实验验证了其有效性。

May, 2022

通过自然语言推理进行判别最近邻少样本意图检测

本文提出了一种基于神经网络的简单而有效的分类方法，结合了自注意力和交叉编码技术，通过最佳匹配训练样本来估计用户的输入，使用 NLI 传输提高了判别能力，本方法相对 RoBERTa 和最近邻方法在行业内和 OOS 检测准确性上更为稳定和准确性更高，尤其是 10-shot 模型在保持相同推理时间的情况下与 50-shot 或全量 shot 分类器竞争。

Oct, 2020

所有标签汇聚：具有效标签语义编码范式的低样本意图检测

在意图检测任务中，利用意图标签中的有意义的语义信息对于少样本场景尤其有益。我们提出了一个端到端的 One-to-All 系统，可以将输入词汇与所有标签候选进行比较，从而充分利用标签的语义信息。实验结果表明，在训练资源极为有限的情况下，One-to-All 在 1、3 和 5 个样本场景下实现了最先进的性能。此外，我们还提出了一种利用释义的新型预训练策略，使模型可以在意图检测任务的零样本跨领域泛化。

Sep, 2023