EMNLPOct, 2020

SlotRefine: 一种快速非自回归模型，用于联合意图检测和槽位填充

PDF
TL;DR本文提出了一种名为 SlotRefine 的新型非自回归模型，用于联合意图检测和槽填充，在此同时，设计了一种新颖的两挡迭代机制来解决非自回归模型的条件独立性问题，实验结果表明，我们的模型在槽填充任务中表现出了显著优异的表现，并且解码速度显著提高（高达 X 10.77），深入分析表明，1）预训练方案可以进一步增强我们的模型；2）两步机制确实修复了不协调的槽。
spoken language understandingintent detectionslot fillingnon-autoregressive modeltwo-pass iteration mechanism
发现论文，激发创造
  • 一种有效的非自回归式口语理解模型

    本文提出了一种新型非自回归对话系统核心部件 ——Layered-Refine Transformer，其包含 Slot Label Generation 和 Layered Refine Mechanism，通过在训练期间有效获取依赖信息，实现了在推断时显著提高了 SLU 性能（总体准确率提高 1.5% 以上）并加速了（超过 10 倍）推断过程。

    Aug, 2021

  • 一种新的双向关联模型，用于联合意图检测和槽位填充

    本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

    Jun, 2019

  • GL-GIN: 快速准确的非自回归模型用于联合多意图检测和槽位填充

    本研究提出了一种非自回归模型，名为 Global-Locally Graph Interaction Network (GL-GIN)，用于联合多个意图检测和槽位填充，并在两个公共数据集上取得了最先进的结果，并快了 11.5 倍。

    Jun, 2021

  • 自然语言理解中联合意图检测和槽位填充模型调查

    本文综述了自然语言理解中重要的两个任务：目的意图分类和词槽填充。特别是联合模型已经成为达到最佳性能的方法，并揭示了两个任务之间的强关系。文章描述了意图分类和词槽填充在趋势、方法、问题、数据集、评估指标、性能、共享任务等方面的研究，其中包括不同维度的表格总结过去的研究。

    Jan, 2021

  • 基于循环神经网络的联合在线口语理解和语言建模

    本文研究了基于递归神经网络的联合模型在口语理解（SLU）中的应用，实验结果显示其在意图检测和语义插槽填充任务中表现良好，在嘈杂语音输入场景下也具有较好的性能。

    Sep, 2016

  • 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法

    我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。

    Aug, 2023

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 可解释的槽位类型注意力机制用于提高联合意图检测和槽位填充

    本研究提出了一种新颖的基于监督学习的方法，它可以学习生成针对不同槽类型的特征以提高准确性，并提供了首个能够解释基于联合 NLU 模型的槽填充决策的方法，从而保证了模型的可解释性。实验结果表明，该方法在两个广泛使用的数据集上均取得了准确性改进，并提供了有关独占式槽解释性的详细分析。

    Oct, 2022

  • 通过预训练语言模型探测和多层对比学习实现槽位归纳

    在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

    Aug, 2023

  • 基于胶囊神经网络的联合槽位填充与意图识别

    本研究提出了基于 capsule 的神经网络模型，通过动态路由协议实现槽填充和意图检测，从而有效地利用了语义层次结构。实验表明，与其他模型结构以及现有自然语言理解服务相比，我们的模型具有更好的性能。

    Dec, 2018