ACLSep, 2023

所有标签汇聚：具有效标签语义编码范式的低样本意图检测

PDF
TL;DR在意图检测任务中，利用意图标签中的有意义的语义信息对于少样本场景尤其有益。我们提出了一个端到端的 One-to-All 系统，可以将输入词汇与所有标签候选进行比较，从而充分利用标签的语义信息。实验结果表明，在训练资源极为有限的情况下，One-to-All 在 1、3 和 5 个样本场景下实现了最先进的性能。此外，我们还提出了一种利用释义的新型预训练策略，使模型可以在意图检测任务的零样本跨领域泛化。
发现论文，激发创造
  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • 基于模板的零 - shot 意图识别方法

    探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

    Jun, 2022

  • Few-shot 意图分类的预训练有效性

    本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

    Sep, 2021

  • 零样本学习的联合意图和槽位标记

    通过零样本学习的方法，实现了目的性对话系统中的意向分类和槽位标注任务。研究表明，将意向和槽位之间的依赖关系建模，以及通过神经网络将单词和句子转换成嵌入空间，是提高任务准确性的关键因素。

    Nov, 2022

  • QAID: 基于问答启发的少样本意图检测

    将意图识别重新定义为一个问答检索任务，通过批量对比损失采用了两阶段训练策略，提高了查询表示方法和同一意图答案间的上下文化令牌级相似度得分，最终在少样本意图识别测试上达到了最先进的性能。

    Mar, 2023

  • 基于任务无关本体和简单标签的零样本帧语义解析

    本文介绍了 OpenFSP 框架，它可以以少量简单的标签为基础，实现对话系统中领域分类与语义解析的任务，并获得了在 TopV2 数据集上的显著表现。

    May, 2023

  • 一种简单的元学习范式，用混合注意机制进行零样本意图分类

    本文提出了一种简单而有效的元学习范式，采用多种混合注意力机制来提取更好的话语特征，采用元学习策略来提高模型的泛化能力，从而在标准和广义零 - shot 意向分类任务上优于其他强基线

    Jun, 2022

  • 基于表征的元学习用于少样本语音意图识别

    本文提出了一种利用元学习范式的 few-shot 口语意图分类方法，通过基于表示的元学习获取 utterances 的任务无关表示，然后使用线性分类器进行预测，在 Google Commands 和 Fluent Speech Commands 数据集上实验表明，该方法可以实现对新类别进行准确分类的性能。

    Jun, 2021

  • 探索零样本和小样本技术用于意图分类

    本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

    May, 2023

  • 泛零样本音频到意图分类

    利用仅有每个意图几个样本文本句子的泛化零样本音频到意图分类框架，该框架使用只有音频的数据，通过训练有监督的音频到意图分类器和利用神经音频合成器生成音频嵌入，使用余弦相似度对未见过的意图进行泛化零样本分类，并通过多模态训练策略将词汇信息融入音频表征来提高泛化零样本性能。相较于仅使用音频训练，我们的多模态训练方法提高了 SLURP 和内部目标导向对话数据集上未见过的意图的零样本意图分类准确率分别为 2.75％和 18.2％。

    Nov, 2023