May, 2023

针对零样本和少样本意图分类的预训练意图感知编码器

PDF
TL;DR本研究提出一种使用对比学习和伪标签的方法来预训练文本编码器，旨在提高任务导向对话系统中意图分类的性能。通过在四个意图分类数据集上进行实验，我们的预训练意图感知编码器 (PIE) 模型相比于现有最先进的预训练句子编码器，在 N 路零 / 一次测试中获得了高达 5.4% 和 4.0% 的精度提高。
发现论文，激发创造
  • 基于模板的零 - shot 意图识别方法

    探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

    Jun, 2022

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • Few-shot 意图分类的预训练有效性

    本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

    Sep, 2021

  • 使用预训练和对比学习进行新意图发现

    本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

    May, 2022

  • 神经网络少样本文本分类的现实检验

    本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

    Jan, 2021

  • 泛零样本音频到意图分类

    利用仅有每个意图几个样本文本句子的泛化零样本音频到意图分类框架，该框架使用只有音频的数据，通过训练有监督的音频到意图分类器和利用神经音频合成器生成音频嵌入，使用余弦相似度对未见过的意图进行泛化零样本分类，并通过多模态训练策略将词汇信息融入音频表征来提高泛化零样本性能。相较于仅使用音频训练，我们的多模态训练方法提高了 SLURP 和内部目标导向对话数据集上未见过的意图的零样本意图分类准确率分别为 2.75％和 18.2％。

    Nov, 2023

  • 多意图 NLU 的两阶段预测感知对比学习框架

    我们提出了一个用于多意图自然语言理解的两阶段预测感知对比学习（PACL）框架，通过整合词级预训练和预测感知对比微调的方式充分利用共享意图信息，从而构建更好的嵌入空间。我们构建了一个词级数据增强策略的预训练数据集，然后在对比微调过程中动态分配实例角色，并引入预测感知对比损失以最大化对比学习的影响。我们在三个广泛使用的数据集上进行了实验和实证分析，结果表明我们的方法在低数据和完整数据场景下均超过三个突出的基准模型的性能。

    May, 2024

  • Few-Shot 意图分类的模型和训练方案问题

    探究几个不同的维度影响最先进的 FSIC 性能，并发现具有参数化相似性计分函数的交叉编码器体系结构与情节元学习的组合可以始终提供最佳的 FSIC 性能。

    Oct, 2022

  • 探索零样本和小样本技术用于意图分类

    本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

    May, 2023

  • ProtoDA: 少样本意图分类的高效迁移学习

    该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

    Jan, 2021