Apr, 2020

给定少量示例的意图和槽位标签分类学习

PDF
TL;DR在本文中，我们提出了一种新的少样本学习任务 —— 少样本意图分类和槽填充，以在超低资源场景中研究和提高意图分类和槽填充模型的性能，并通过定义 ATS、TOP 和 Snips 三个公共数据集的少样本分割来建立少样本意图分类和槽填充基准。我们表明，既有的元学习算法（MAML）和原型网络算法在这个基准上优于 fine-tuning 基线。同时，预训练的语言模型（例如 ELMo 和 BERT）与这些小样本算法相结合，可以进一步提高模型在此任务上的性能。
intent classificationslot fillingfew-shot learningbenchmarkingpre-trained language models
发现论文，激发创造
  • 半监督少样本意图分类与槽位填充

    本文研究如何将对比学习和无监督数据增强应用于少样本学习，以改进自然语言理解中的意图分类和槽位填充任务。在标准的 IC/SF 基准测试中，我们的半监督方法通过在原有监督元学习技术中引入对比损失和数据增强方法，表现出优异的性能，特别是在少样本 IC 问题上表现更为突出。

    Sep, 2021

  • 一种显式联合和监督对比学习框架，用于少样本意图分类和槽位填充

    本文提出了一种新颖的显式联合和监督对比学习框架，实现了少样本意图分类和词槽填充，通过构建 episode，允许不平衡的数据集。实验证明，该框架在三个公共数据集上都表现出色。

    Oct, 2021

  • 任务导向对话系统中基于神经网络的槽位填充和意图分类新方法综述

    本文重点考察了基于神经网络的研究，围绕自然语言理解在对话系统中的应用，着重研究了两个核心问题：slot filling 和 intent classification，并介绍了三种神经网络架构：独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。

    Nov, 2020

  • 利用检索到的样本进行少样本意图分类和槽填充

    本文探讨了如何在缺乏足够资源的情况下，通过基于检索的方法完成少量样本学习并用于意图分类和填槽任务。我们提出了一种基于跨度级别检索的方法，通过一种新颖的批次 - softmax 目标函数，在相似的具有相同标签的跨度之间学习上下文化表示。我们的方法在 CLINC 和 SNIPS 基准测试中超过了先前的系统。

    Apr, 2021

  • 少样本类增量学习

    该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

    Apr, 2020

  • 学习桥接度量空间：少样本联合学习意图检测和槽位填充

    本文研究了针对对话语言理解的 few-shot 联合学习，提出了一种基于相似度的 few-shot 学习方案 ConProm, 能够从少量样例捕捉任务关系并联合学习多个任务。在 Snips 和 FewJoint 两个公开数据集上的实验结果表明，该方案表现出比强基线模型更好的性能。

    May, 2021

  • 少样本意图分类与槽位填充的表示和知识分离

    通过解耦普遍语义表示相关与特定领域知识相关的经验，将 Few-shot 意图分类和槽填充任务中的域特定知识传递与其他经验分开，显著提升性能。

    Dec, 2023

  • ILLUMINER: 基于指令调整的大型语言模型作为少量样本意图分类器和插槽填充器

    通过使用 Instruct-LLMs 模型，我们将意图分类和槽位填充视为语言生成任务，并且相比于现有方法，我们的方法在槽位填充方面表现出色，与 GPT3.5 (175B) 的上下文学习相比，在槽位填充任务中提高了 11.1-32.2 个百分点。而且，我们的深入剖析研究表明参数高效的微调只需要不到 6% 的训练数据就可以达到与传统的全权重微调相当的性能。

    Mar, 2024

  • 干预式少样本学习

    通过构建因果模型，提出了一种新的干预式 Few-Shot 学习范式，与现有的 Fine-tuning 和 Meta-learning 等方法正交，可以显著提高它们的性能，在多个数据集上均取得新的 1-/5-shot 最新成果。

    Sep, 2020

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023