在本文中，我们提出了一种新的少样本学习任务 —— 少样本意图分类和槽填充，以在超低资源场景中研究和提高意图分类和槽填充模型的性能，并通过定义 ATS、TOP 和 Snips 三个公共数据集的少样本分割来建立少样本意图分类和槽填充基准。我们表明，既有的元学习算法（MAML）和原型网络算法在这个基准上优于 fine-tuning 基线。同时，预训练的语言模型（例如 ELMo 和 BERT）与这些小样本算法相结合，可以进一步提高模型在此任务上的性能。

Apr, 2020

本文提出了一种新颖的显式联合和监督对比学习框架，实现了少样本意图分类和词槽填充，通过构建 episode，允许不平衡的数据集。实验证明，该框架在三个公共数据集上都表现出色。

Oct, 2021

本文重点考察了基于神经网络的研究，围绕自然语言理解在对话系统中的应用，着重研究了两个核心问题：slot filling 和 intent classification，并介绍了三种神经网络架构：独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。

Nov, 2020

本文探讨了如何在缺乏足够资源的情况下，通过基于检索的方法完成少量样本学习并用于意图分类和填槽任务。我们提出了一种基于跨度级别检索的方法，通过一种新颖的批次 - softmax 目标函数，在相似的具有相同标签的跨度之间学习上下文化表示。我们的方法在 CLINC 和 SNIPS 基准测试中超过了先前的系统。

Apr, 2021

本文研究了针对对话语言理解的 few-shot 联合学习，提出了一种基于相似度的 few-shot 学习方案 ConProm, 能够从少量样例捕捉任务关系并联合学习多个任务。在 Snips 和 FewJoint 两个公开数据集上的实验结果表明，该方案表现出比强基线模型更好的性能。

May, 2021

通过解耦普遍语义表示相关与特定领域知识相关的经验，将 Few-shot 意图分类和槽填充任务中的域特定知识传递与其他经验分开，显著提升性能。

Dec, 2023

本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

Jun, 2019

通过使用 Instruct-LLMs 模型，我们将意图分类和槽位填充视为语言生成任务，并且相比于现有方法，我们的方法在槽位填充方面表现出色，与 GPT3.5 (175B) 的上下文学习相比，在槽位填充任务中提高了 11.1-32.2 个百分点。而且，我们的深入剖析研究表明参数高效的微调只需要不到 6% 的训练数据就可以达到与传统的全权重微调相当的性能。

Mar, 2024

在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

Aug, 2023

本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

Sep, 2021